使用scrapy python爬行NodeJs和AngularJs网站

Question

我想使用scrapy python爬取网站，大多数网站都成功完成，但大多数网站都给出了艰难的时间，因为它们运行在Nodejs和angularjs框架或其他Java框架上，scrapy爬虫无法从网页中获取详细信息。请在这里，我需要你的关注。期待您的最早帮助。

在这里你可以找到最初我使用的试验基地的代码。

import scrapy 
from selenium import webdriver 
from scrapy.http import TextResponse 

class QuotesSpider(scrapy.Spider): 
    name = "quotes" 
    start_urls = ['https://en-ae.wadi.com/home_entertainment-televisions/?ref=navigation'] 

    def parse(self, response): 
     self.log('i have just visited the ' + response.url) 
     yield{ 
      'product_name' : response.css('p.description.ng-binding > span::text').extract_first(), 
     } 

在此先感谢。

Answer 1

退房splash：将允许你抓取基于JavaScript的网站。

您也可以创建自己的下载中间件和使用Selenium：How to write customize Downloader Middleware for selenium and Scrapy?

希望这有助于。