Scrapy Python中的Scrapy

Question

我想帮助我的朋友分析社交网络（Facebook，Twitter，Linkdin等）以及多个博客和网站上的文章。

我有几个问题，并尝试对它们进行分类：

当谈到刮数据，我的想法是通过API和通过RSS或网站抓取的网站利用Scrapy library刮社交媒体数据。 我想知道Scrapy是否足够优化，可以在短时间内以最少的资源使用量给我提供最好的结果？

Answer 1

从技术上讲，只要您正确编码并从API找到需要的路径或通过分析网站的代码，Scrapy应该做的很好。

请注意，尽管使用“自动方式”从这些网站抓取或抓取数据违反了各自的使用条款协议（Twitter对此相当松懈）。这意味着，如果他们看到一堆来自你的IP地址的请求，并认为你可能是A.）使用僵尸工具或B.）执行DOS攻击......他们会快速关闭你，你可能有LEO敲你的门。

其中很多人都有办法获得许可，但我怀疑他们只允许任何人。