Stagger狮身人面像索引

Question

我试图创建一个包含3700万条记录的索引。

我使用脚本将数据从MySQL的输出，并且输出以此为XML，然后将其与正在进口xmlpipe2数据。

我的问题，是所生成的XML文件是相当大的，和我开发的服务器没有存储XML的内存。

如果我限制了导入的行数，例如LIMIT 0,1000000，那时我做LIMIT 1000000，1000000，这个索引不是'合并'的，而是覆盖。

我能以某种方式错开这让我最终与所有数据的索引结了？

感谢

Answer 1

而不是输出到一个实际的XML文件，只要管输出定向到狮身人面像。这样他们实际的文件永远不会存在（在内存中或文件系统上）。

即您在“xmlpipe_command”称只是打印XML直接输出到标准输出脚本。狮身人面像消化并读取它。

我读过XML数据源数倍于服务器内存这样大。

Answer 2

你可以为每个指数超过一个来源，像几个XML文件或几个MySQL的源。索引按照您提供的顺序进行处理，只需确保文档ID在所有来源中都是唯一的。