Scrappy的HTMLXPathSelector返回null结果

Question

我刚开始学习python/Scrapy。我能够成功地关注教程，但是我正在努力尝试自己想做的'测试'。

我现在想要做的是继续http://jobs.walmart.com/search/finance-jobs并删除工作清单。

但是，我想我可能在XPath中做了错误的事情，但我不确定是什么。

该表没有“id”，所以我使用它的类。

from scrapy.spider import BaseSpider 
 
from scrapy.selector import HtmlXPathSelector 
 

 

 
class MySpider(BaseSpider): 
 
    name = "walmart" 
 
    allowed_domains = ["jobs.walmart.com"] 
 
    start_urls = ["http://jobs.walmart.com/search/finance-jobs"] 
 

 
    def parse(self, response): 
 
     hxs = HtmlXPathSelector(response) 
 
     titles = hxs.select("//table[@class='tableSearchResults']") 
 
     items = [] 
 
     for titles in titles: 
 
      item = walmart() 
 
      item ["title"] = titles.select("a/text()").extract() 
 
      item ["link"] = titles.select("a/@href").extract() 
 
      items.append(item) 
 
     return items

这里是页面的源代码的样子：

Answer 1

，你也说的问题，是你的XPATH。它始终是运行有用：

scrapy view http://jobs.walmart.com/search/finance-jobs 

运行你的蜘蛛之前，看到该网站看起来怎么样从scrapy视图。

这应该现在的工作：

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 


class MySpider(BaseSpider): 
    name = "walmart" 
    allowed_domains = ["jobs.walmart.com"] 
    start_urls = ["http://jobs.walmart.com/search/finance-jobs"] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     item = walmart() 
     titles = hxs.select("//table[@class='tableSearchResults']/tr") 
     items = [] 
     for title in titles: 
      if title.select("td[@class='td1']/a").extract(): 
       item ["title"] = title.select("td[@class='td1']/a/text()").extract() 
       item ["link"] = title.select("td[@class='td1']/a/@href").extract() 
       items.append(item) 
     return items