2017-05-06 74 views
0

我对通常的抓取工具和网络陌生,所以这可能是一个无知的问题。我正在尝试为每个scrapy请求附加一个标识符,以便我可以识别每个响应。将标识符附加到Scrapy请求?

作为一个例子。假设我从我存储在我的数据库中的产品中提取数据,并且想要将这些数据存储在与特定产品相关的数据库中。有没有办法将标识符附加到请求中,以便在响应返回时我知道它指的是什么产品,以便我可以更新数据库中正确的产品?

基于抓取的数据,我确信我可以在页面上找到标识符,但是如果我可以在每个请求中传递一个标识符,它会更容易,更不容易出错。

任何帮助,将不胜感激。

感谢

回答

0

阅读文档进一步之后,我相信我找到了答案here。我想我可以使用Requests [meta]属性将其他信息传递给回调函数。我并不完全确定这个例子是如何工作的,但这是迄今为止我发现的最佳人选。