使用scrapy获取“下一页”数据

Question

我需要抓取商品网站的评论数据，但它的用户数据是分页的。每页评论有10条，约有100页。我如何抓取所有这些？

My intention is to use the yield and Request method to crawl the "Next Page" link, and then using the Xpath to extract data. But I can't jump to the next page to extract the data. 

这里是关于 “下一页” 链接的HTML代码：

<div class="xs-pagebar clearfix"> 
    <div class="Pagecon"> 
      <div class="Pagenum"> 
       <a class="pre-page pre-disable"> 
       <a class="pre-page pre-disable"> 
       <span class="curpage">1</span> 
       <a href="#" onclick="tosubmits(2):return false;">2</a> 
       <a href="#" onclick="tosubmits(3);return false;">3</a> 
       <span class="elli">...</span> 
       <a href="#" class="next-page" onclick="tosubmits('2');return false;">Next Page</a> 
       <a href="#" onclick="tosubmits('94');return false;">Final Page</a> 
      </div> 
    </div> 
</div> 

是什么href="#"究竟意味着什么呢？

Answer 1

不幸的是，你不能用scrapy做到这一点。 href="#"是一个链接无处不在的锚链接（使其看起来像链接）。真正发生的是执行的javascript onclick处理程序。你将需要一个执行javascript的方法来为你的用例做这件事。你可能想看看Splinter来做到这一点。