从其他网站获取数据

Question

我正在创建一个网站，用于搜索有关它的书籍和其他详细信息，以便为其创建数据库。创建这样庞大的数据库会非常紧张，所以人们如何管理这些网站的数据。有没有简单的方法？

该网站将像搜索一本书，并显示有关的细节和在哪里购买。

Answer 1

一些网站，如亚马逊允许通过web服务访问他们的数据库（即通过SOAP协议等）。通常服务是有限的，或者您必须支付访问这些服务的费用。

其他网站不提供这样的事情。获取数据的唯一方法是屏幕上的其他网页的数据（例如，只需要请求html页面并抓取必要的信息）。这是乏味的，如果页面模板改变，你必须改变你的解析器...更不用说在许多情况下非法...

唯一的另一种方法是手动输入它或让你的用户输入它。