搜索爬行“Bot”？

Question

我正在开发一个项目，该项目需要我收集大量关于某些主题的网站的URL。我想编写一个脚本，使用谷歌搜索特定的术语，然后将结果中的URL保存到文件中。我会如何去做这件事？我使用了一个名为xgoogle的模块，但它总是返回没有结果。

我在Windows 7上使用Python 2.6。

Answer 1

谷歌有一个API库。我建议你使用：http://code.google.com/apis/ajaxsearch/

这是一个安静的API，这意味着它很容易通过python/js抓取结果。我认为你只限于32项结果，但这应该足够了。它将返回一个很好的结构化对象，您可以使用它而无需执行任何HTML解析操作。

如果您想'抓取'，您可以使用urllib抓取每个URL并获取THEIR的内容，以及它们引用的URL，等等。

Answer 2

确保您更改了urllib2的用户代理。默认的一个往往会被Google阻止。确保您遵守您正在编写脚本的搜索引擎的使用条款。