为所有scrapy蜘蛛编写函数

Question

所以我试图编写可以从所有scrapy蜘蛛调用的函数。 在我的项目中，我可以定义这些函数还是需要将它们导入每个蜘蛛中？

感谢

Answer 1

在Python中，你不能隐式导入的代码（至少在没有黑客左右），毕竟明确优于隐式 - 所以它不是一个好主意。

然而在scrapy中，拥有常见功能和方法的基础Spider类是非常普遍的。

让我们假设你有这样的树：

├── myproject 
│   ├── __init__.py 
│   ├── spiders 
│   │   ├── __init__.py 
│   │   ├── spider1.py 
│   │   ├── spider2.py 
├── scrapy.cfg 

我们可以在spiders/__init__.py创建一个基本的蜘蛛：

class BaseSpider(Spider): 
    def common_parse(self, response): 
     # do something  

而且从它在你的蜘蛛继承：

from myproject.spiders import BaseSpider 
class Spider1(BaseSpider): 
    def parse(self, response): 
     # use common methods! 
     if 'indicator' in response.body: 
      self.common_parse(response)