2009-07-04 79 views
2

最近的一个article促使我选择一个我一直在努力的项目。我想为许多网站创建一个Web服务前端,以允许从结果和网站的其他区域自动完成表单和数据检索。我使用Selenium和自定义代码获得了一定程度的成功,但是我期待将其扩展到一个阶段,即添加其他站点是一项微不足道的任务(也许甚至不需要开发人员)。网站数据检索

Kapow web data server看起来实现了很多这可是我听说这是相当昂贵(目前正在等待报价)。有没有人有这方面的经验,或可以建议任何替代品(理想的开源)?

免责声明:我实现了从第三方网站围绕自动化数据检索潜在的合法性问题 - 这个工具的目的是在价格比较系统中使用,所有与之集成的网站将与明确许可来完成的业主。在网站提供API的情况下,这显然是最受欢迎的方法。

感谢

回答

0

意识到它已经有一段时间,因为我张贴了这个,但是任何人都应该通过它来了,我在使用这个WSO2框架(尤其是混搭服务器)有很多成功的。对于数据挖掘任务,我还使用了这个包装的Java库 - webharvest - 它已经实现了我需要的所有东西