scrapy-splash

0热度

2回答

我使用scrapy_splash来抓取需要js检索正确内容的页面。当我没有代理设置使用SplashRequest时，一切都很好，但是当我将代理设置放在代理设置中时，javascript不会呈现给我prejavascript html内容，这些内容没有我需要的数据。有谁知道如何解决这个问题？我确定代理ip没有被列入黑名单。

0热度

1回答

从TripAdvisor抓取动态加载图像

我想抓取来自TripAdvisor网站的评论。由于网站中的大部分图像都是动态加载的，我使用Splash JavaScript渲染服务来生成页面。问题是一些图像被加载，有些则不是。这里是检讨，我要爬网的网址： https://www.tripadvisor.com.sg/ShowUserReviews-g294265-d1770798-r446535418-Marina_Bay_Sands-Si

1热度

0回答

Scrapy，飞溅的Tor

我已经成功与使用Tor此链接运行Scrapy：http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/ ，但我无法与Tor的运行飞溅。在Scrapy-settings.py我涉及Polipo即可用于HTTP_PROXY（8123是Poli

1热度

2回答

如何从网站获取JavaScript动态内容

我正在尝试从网站获取动态内容。我试图得到scrapy的内容。但内容正在加载js文件。所以它没有输入文字。然后，我为此安装了硒，但现在我得到没有这样的会话错误。例如，这是我试图获取内容的页面。 http://www.hepsiburada.com/fox-fitness-new-target-70e-2-5-hp-motorlu-masajli-kosu-bandi-hediye-secene

1热度

1回答

从Splash请求中读取cookies

我试图在使用Splash发出请求后访问cookie。以下是我如何构建请求。 script = """ function main(splash) splash:init_cookies(splash.args.cookies) assert(splash:go{ splash.args.url, headers=splash.args.headers,

0热度

1回答

为Splash浏览器设置地理位置（Scrapy/Python）

我试图设置浏览器的地理位置，以便当我访问网站时，它会识别我的位置，因为除非设置了地理位置，否则页面将不会加载。有谁知道如何在splash-scrapy中设置它？我环顾四周，但似乎没有人问过这个问题。谢谢

0热度

1回答

错误上飞溅的Lua附近有望脚本

我需要运行在飞溅这个简单的Lua脚本： script = """ function main(splash) local url = splash.args.url assert(splash:go(url)) assert(splash:wait(1)) -- go back 1 month in time and wait a lit

1热度

1回答

502在使用Scrapy飞溅领英时发生错误

我尝试使用Scrapy和Splash为Netflix刮取LinkedIn公司页面。当我使用scrapy shell时，它工作得很好，但当我运行脚本时会产生502错误。错误： 2017-01-06 16:06:45 [scrapy.core.engine] INFO: Spider opened 2017-01-06 16:06:45 [scrapy.extensions.logstats] I

0热度

1回答

如何强制scrapy-splash重试失败的项目？

我正在使用scrapy-splash从Javascript驱动的IFRAMEd HTML页面中提取信息。有时，由于某些浏览器条件，我的splash Javascript函数失败，并返回错误消息，如{"error": "NotSupportedError: DOM Exception 9"}）。在我的项目管道我为了删除这些项目，以保持我的结果干净： class NewspaperLayoutPip

0热度

1回答

scrapy.FormRequest.from_response VS. SplashFormRequest.from_response

我正在尝试使用scrapy splash以与scrapy相同的方式登录。我查看了文档Doc，它说“SplashFormRequest.from_response也支持，并且按照scrapy文档中的描述运行” 但是，简单更改一行代码并更改splash文档中描述的设置并不会带来任何问题结果。我做错了什么？代码： import scrapy from scrapy_splash import Sp