为什么我在运行Scrapy时得到空的“Messages：”日志输出？

我的蜘蛛运行正常，我设法用例如这种代码行：为什么我在运行Scrapy时得到空的“Messages：”日志输出？

logging.info（ “网址MyCrawler建名单！”）

和输出信息到控制台例如

[root] INFO：MyCrawler构建的URL列表！

当运行蜘蛛，我得到许多种以下消息的：

2017年8月25日十三时40分15秒[scrapy.extensions.logstats] INFO：爬26 页（以2页/分），刮0的项目（在0件/分钟）的消息：

消息：

消息：

消息：

消息：

消息：

消息：

消息：

2017年8月25日13点41分十二秒[scrapy.extensions.logstats] INFO：爬42 页数（16页/分钟），刮8件商品（8件/分钟）信息：

消息：

消息：

2017年8月25日13时42分05秒[scrapy.extensions.logstats] INFO：爬241 页（在199页/分钟），刮214名的项目（在206个/分钟） 2017-08-25 13:43:05 [scrapy.extensions.logstats]信息：Crawled 381 pages（at 140 pages/min），刮350件商品（136件/分钟） 2017-08-25 13:44 ：05 [scrapy.extensions.logstats]信息：已检索688 页（307页/分钟），刮659件（309件/分钟） 2017-08-25 13:45:05 [scrapy.extensions.logstats ]信息：爬行995 页（307页/分钟），刮968件（309件/分钟） 2017-08-25 13:46:05 [scrapy.extensions.logsta ts]信息：爬行1370 页（375页/分钟），刮掉1340项（372件/分钟） 2017-08-25 13:47:05 [scrapy.extensions.logstats]信息：已检索1676 页（306页/分钟），1648件物品（308件/分钟） 2017-08-25 13:48:05 [scrapy.extensions.logstats]信息：Crawled 1914 pages（238页/分钟），（每分钟238页） 2017-08-25 13:49:05 [scrapy.extensions.logstats]信息：抓取2189 页（275页/分钟），刮取2162项（276项/分钟） min） 2017-08-25 13:50:05 [scrapy.extensions.logstats]信息：已检索2430 页（241页/分钟），刮2402件（240件/分） 2017-08-25 13:51:05 [scrapy.extensions。logstats]信息：已检索2678 页（248页/分钟），刮掉2651项（249件/分钟） 2017-08-25 13:52:05 [scrapy.extensions.logstats]信息：已检索2952 （在274页/分钟），刮2924项（在273个/分钟）消息：

2017年8月25日13时53分09秒[scrapy.extensions.logstats] INFO：爬3166 页（以214页/分），刮下3130项（在206个/分钟）消息：

消息：

是什么空行

消息：

意思，我怎样可以控制它的知名度和内容？

来源

2017-08-25 zinyosrim

发布完整的刮板 –

它们可能只是调试内置于您正在使用的库中的消息。尝试将日志级别更改为INFO或ERROR，看看它是否有所作为。 –

@BobEzuba记录已经在INFO上。将其更改为ERROR。现在“抓取的3166页......”消息不见了，但空消息仍然存在。 – zinyosrim

同时，我发现的，其硒相关的代码下面这段是负责产生空消息：

while True: 
    try: 
     loadMoreButton = self.driver.find_element_by_xpath('//*[@id="loadMoreUpcomingPast"]') 
     loadMoreButton.click() 
     self.driver.implicitly_wait(self.delay) 
    except Exception as e: 
     print(e)

这不是最干净的解决办法，但这里是我做了什么，摆脱空消息：

while True: 
    try: 
     loadMoreButton = self.driver.find_element_by_xpath('//*[@id="loadMoreUpcomingPast"]') 
     loadMoreButton.click() 
     self.driver.implicitly_wait(self.delay) 
    except Exception as e: 
     break

我不确定是否需要异常处理。但是，我不想冒任何浪费任何时间来刮刮过程。

来源

2017-09-13 14:43:29 zinyosrim

为什么我在运行Scrapy时得到空的“Messages：”日志输出？

回答

相关问题