重复随机抽样SQL

Question

我需要检讨我从存储在MPP机上的表抽样的100个随机行的解决方案（目前Netezza公司，后来可能是Hadoop的/等）

我没有兴趣使用Netezza的rand（），因为我希望能够在以后重现相同的示例，并且我不指望setseed（）。

我现在使用的解决方案是：

SELECT * FROM MY_TABLE ORDER BY ID % 371, ID % 17, ID % 501, ID LIMIT 100

，其中3个数字是素数，我被自己的RNG产生。 我在正确的轨道上吗？ 这个“随机”样本是否足够随机？

注意：我不需要它是一个加密的强随机样本，我只是想确保我每次都选取不同的样本，并且均匀采样，并且我希望能够轻松地重现我的示例（通过执行相同的SQL），如果需要。

谢谢！

Answer 1

我不会尝试在SQL中生成随机数，当它很容易得到一些真正的随机数时，将它们粘贴在表中或存储过程中。

转到https://www.fourmilab.ch/hotbits/secure_generate.html以十六进制格式获得256个随机比特，每次将数字分组4次，转换为十进制整数，然后使用前100个数字作为您的键。

您将拥有一个可重复的序列，您可以根据需要制作尽可能多的真正随机序列。

如果您需要具有均匀分布的可重复伪随机数，则适用相同的原则。只需使用不同的数字来源。例如，你可以编写一个Python脚本，使用包含的random模块来生成你的数字。

至于要使用的SQL，如果您正确构建数据库，它很简单。在这种情况下，由于我构建了一次随机表，并且不止一次地将它用于查询，我将构建表来包含主键，而不仅仅是生成的随机数。或者，如果我打算用不同的数字集重复这个问题，那么我会建立一个关系表（就像在ER建模中一样），它将随机数表与我正在采样的表相关联。我不会强迫所有东西进入SQL，但会生成随机数字表并使用脚本语言构建关系表。

在上面给出的示例中，您需要100个样本，因此随机抽样表将包含由外部脚本选择的100个主键。每次运行采样时，都会得到完全相同的记录，直到您更改随机采样表。要更改表格，请转储要采样的表格的主键，然后运行脚本以随机选取100，方法是在1和主键的总数之间生成100个数字。如果你使用像Python这样的工具，你可以得到统一的随机数，伽马分布，高斯，日志正常，帕瑞托等。