SSIS转换组件：大规模数据存储

Question

我正在开发一个SSIS转换组件，它需要存储传入数据流的内容，然后在稍后的时间点输出数据。这可能是包含许多字段（任何数据类型）的大量记录。

例如，如果您正在开发“排序”组件，则在输入所有记录之前无法输出单个记录时，将需要此类存储。

我的问题是 - 什么是存储此临时数据的建议做法？我见过的微软和Codeplex的例子有些微不足道，因为他们使用内存结构。我想避免这种情况，因为在处理大型数据集时这似乎是一个非常糟糕的主意。

SSIS库中是否存在一个机制来执行此操作？ [好吧，它看起来像没有]

我正在考虑几个选择：在磁盘上

• Store中的数据流中， 保持记录的偏移到存储器中的该 流。在输出 阶段，我将使用这些偏移量来定位 所需的记录。
• 将 数据存储在用户选择的ADO或OLEDB数据源 中。
• 其他建议？

Answer 1

否 - 在API中没有第三方可访问的“缓冲”机制。您自己负责，包括分页到磁盘或您选择的任何机制，以避免将所有行存储在内存中。