从网站抓取多个网页

Question

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 

class DmozSpider(BaseSpider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [ 
     "www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
     "www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     sites = hxs.select('//ul/li') 
     for site in sites: 
      title = site.select('a/text()').extract() 
      link = site.select('a/@href').extract() 
      desc = site.select('text()').extract() 
      print title, link, desc 

这是我的代码。我想要大量的URL来循环使用。那么我如何应对这些？我确实在那里放了多个网址，但是我没有得到它们的输出。有些网址停止响应。那么我怎么才能使用这段代码来获取数据呢？

Answer 1

您刚刚发布的代码来自tutorial。你应该做的是实际上读取的整个文档，尤其是basic concept部分。你基本上想要的是crawl spider，你可以在其中定义蜘蛛将遵循和处理你的给定代码的规则。

为了与例子引用文档：

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from scrapy.item import Item 

class MySpider(CrawlSpider): 
    name = 'example.com' 
    allowed_domains = ['example.com'] 
    start_urls = ['http://www.example.com'] 

    rules = (
     # Extract links matching 'category.php' (but not matching 'subsection.php') 
     # and follow links from them (since no callback means follow=True by default). 
     Rule(SgmlLinkExtractor(allow=('category\.php',), deny=('subsection\.php',))), 

     # Extract links matching 'item.php' and parse them with the spider's method parse_item 
     Rule(SgmlLinkExtractor(allow=('item\.php',)), callback='parse_item'), 
    ) 

    def parse_item(self, response): 
     self.log('Hi, this is an item page! %s' % response.url) 

     hxs = HtmlXPathSelector(response) 
     item = Item() 
     item['id'] = hxs.select('//td[@id="item_id"]/text()').re(r'ID: (\d+)') 
     item['name'] = hxs.select('//td[@id="item_name"]/text()').extract() 
     item['description'] = hxs.select('//td[@id="item_description"]/text()').extract() 
     return item 

Answer 2

你的代码看起来不错，但你确定start_urls不应与http://

start_urls = [ 
    "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
    "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
] 

UPD开始

start_urls是scrapy开始的url列表。通常它有一个或两个链接。很少。 此页面必须具有相同的HTML结构，因为Scrapy蜘蛛以相同的方式处理它们。

看看我是否在start_urls中放置了4-5个url，它给出的输出结果为第一个2-3 url。

我不相信这是因为scrapy并不关心有多少链接是start_urls列表。

但它停止响应，并告诉我如何实现这个GUI。

Scrapy有debug shell来测试你的代码。