如何遍历Oracle表中的所有行？

Question

我有一个约30,000,000行的表，我需要迭代，单独处理每行的数据，然后将行中的数据保存到本地驱动器上的文件。

什么是使用SQL for Oracle循环遍历表中所有行的最有效方法？我一直在谷歌搜索，但可以看到没有直接的方式做到这一点。请帮忙。请记住，我不知道确切的行数，只是估计。

编辑澄清：

我相信我们正在使用Oracle 10g。行数据包含blob数据（压缩文本文件和xml文件），将读入内存并加载到自定义对象中，然后使用.Net DOM访问类更新/转换，重新压缩并存储到本地驱动器。

我没有太多的数据库经验 - 我计划在ADO.Net + OracleCommands中使用直接的SQL语句。没有性能限制。这是供内部使用的。我只是想以最好的方式做到这一点。

Answer 1

您需要从Oracle数据库读取30m行，并将每行中的BLOBs（每行一个BLOB列中的一个压缩XML /文本文件？）中的30m文件写入本地计算机上的文件系统？

显而易见的解决方案是在SELECT * FROM tbl WHERE <range>上打开一个ADO.NET DataReader，以便您可以执行批处理。从阅读器读取BLOB到你的API中，做你的东西并写出文件。我可能会尝试编写这个程序，以便它可以从多台计算机上运行，​​每台计算机都有自己的范围 - 您的瓶颈很可能是解压缩，操纵和重新分区，因为许多消费者可能会从该表中传输数据该服务器对服务器性能没有明显影响。

我怀疑你能用Oracle数据库内部的基于集合的操作来做到这一点，我也会考虑文件系统以及你将如何组织如此多的文件（以及你是否拥有空间 - 请记住文件系统上文件占用的大小始终是文件系统块大小的偶数倍）。

Answer 2

您可以尝试使用rownum查询来抓取块，直到抓住不存在的块。

这是ROWNUM查询的好文章： http://www.oracle.com/technetwork/issue-archive/2006/06-sep/o56asktom-086197.html

如果你不喜欢读书，在最后一个示例查询直接“与ROWNUM分页”一节跳转到。

Answer 3

处理大量行时总是最好使用基于集合的操作。

您将享受性能优势。处理完数据后，您应该能够一次性将表中的数据转储到文件中。

这种可行性取决于您需要在行上执行的处理，尽管在大多数情况下可以避免使用循环。是否有一些特定要求阻止您一次处理所有行？

如果迭代遍历行是不可避免的，那么使用批量绑定可能是有益的：FORALL批量操作或BULK COLLECT用于“select into”查询。

Answer 4

我最初的解决办法是做这样的事情，因为我有机会获得一个ID号（伪）：

  int num_rows = 100; 
      int base = 0; 
      int ceiling = num_rows; 

      select * from MY_TABLE where id >= base and id < ceiling; 
      iterate through retrieved rows, do work, 
      base = ceiling; 
      ceiling += num_rows; 
      select * from MY_TABLE where id >= base and id < ceiling; 
      iterate through retrieved rows, do work, 
      ...etc. 

但我觉得这可能不是最有效的还是做它最好的方法...

Answer 5

这听起来像你需要整个数据集之前你可以做任何数据操作，因为它是一个BLOB>。我只需使用DataAdapter.Fill，然后将数据集交给自定义对象进行迭代，然后进行操作，然后将最终对象写入磁盘，然后将其压缩。