2016-11-15 184 views
-1

我有Sphinx SE目前运行在MS SQL服务器上,它在过去几年工作得很好。使用的表格sphinx最近已经扩展了很多,我们需要利用将表格移动到一个天蓝色的表格存储所提供的速度。使用Sphinx搜索与Azure表存储

我有什么选择允许sphinx从azure索引这张表?我知道它支持ms sql,但是azure表存储产品是另一种不同的野兽。我也发现Sphinx支持一个xml输入,但将这些数据全部导出到一个文件中是非常困难的,每5分钟读一次。有没有人使用Azure Table Storage解决了这个问题?

感谢

回答

1

井的xmlpipe(甚至TSVpipe)将连接到表店的方式。缺少原生的基于SQL的驱动程序。

...但是,一个简单的实现可能会加载所有数据。这是你可能用MS-SQL做的事情。这只是数据足够小,以至于它的合理实用性。

加载在MS-SQL的所有数据将similally“贵”

因此,其实你的问题更多的是如何索引“大”数据集。某种增量更新系统,所以你只需要加载'更改。 (即使用针对存储表,那种随后的事实变得实施只是一个微不足道的细节)

一个概念可能会看到狮身人面像不少是所谓的“主” +“三角洲” http://www.sphinxconsultant.com/sphinx-search-delta-indexing/

这对XMLpipe也很有效。所以可以和Asure一起工作。你只需要想出几个脚本,一个下载大量的数据(最初调试'主',它不经常使用)

...然后第二个脚本只获得新的记录。运行某种查询

你只需要somesort脚本从天青流和输出itehr XML或TSV https://www.google.com/search?q=Azure+Table+Storage+stream