1
我需要开发一个刮刮工具，从整个网页上刮擦产品的数据（价格，标题等）。现在，我确实有过拼抢的经验，但这是针对单个网站的。我不知道如何刮掉整个网页。一种可能的解决方案是查询谷歌，然后从谷歌中出现的链接刮掉每个网站。这是一个好方法吗？从整个网络刮掉数据
我只需要一个通用的方法来解决这个问题，因为我发现每个站点都可能有自己的表示数据的方式。我如何结合所有这些变化？任何指导方针/提示？
A
回答
1
谷歌有一个内置的多网站价格比较功能，请参阅：http://www.google.co.uk/shopping
你可以尝试查询使用谷歌自己的自定义搜索API或卷曲该资源，虽然API可能是一个更好的选择，因为谷歌是出了名的棘手刮，并可能锁定IP，如果它认为卷曲脚本或类似正在使用..另一种方法是将数据从某人elses比较网站（s）拉如果用手编写多个站点的想法填满了恐惧。
1
定义您在说什么的术语是网络爬虫。你看过维基百科的文章吗？
相关问题
- 1. 从网站上刮掉员工数据
- 2. Python屏幕刮掉整个网站
- 3. 刮掉某些数据的网页
- 4. 刮掉html数据Vba
- 5. 刮掉NBA.com的数据
- 6. 从网站上刮掉java脚本
- 7. Perl：HTML从认证网站上刮掉
- 8. 刮掉重定向网址。
- 9. 如何刮掉.jsp网站？
- 10. CGI FieldStorage（）或数据库？网络刮
- 11. 用参数刮掉ASP网站
- 12. 使用phantomjs或节点通过网络流量通过网络流量刮掉数据
- 13. VBA刮痧数据从多个网站
- 14. 从wsj.com或finance.yahoo.com刮掉
- 15. 把我的网络刮数据到一个数组
- 16. Python代码刮掉数据CSV
- 17. 用Scrapy刮掉表格中的数据
- 18. 网络刮python表
- 19. YQL刮整个网站/域
- 20. 刮整个网页+ CSS + javascript
- 21. Scrapy不刮整个网站
- 22. 为什么我不能从这个网站上刮掉标题？
- 23. 从网页上刮取网页数据
- 24. 用Scrapy刮掉表格但没有刮伤项目的数据
- 25. 我如何摆脱我从网站上刮掉的数据中的“^ M”？
- 26. 在特定网站上刮掉问题
- 27. 用PHP刮掉凌乱的html网站
- 28. 从交互式图表中刮掉数据
- 29. 如何从stackexchange首页上刮掉“表格”数据？ （在R）
- 30. 从Python中的NYT档案中刮掉完整的文章？