以Cron作业运行Anaconda-Scrapy

我正在尝试运行Scrapy（安装有anaconda2）crawler作为cron作业。到目前为止没有运气。以Cron作业运行Anaconda-Scrapy

下面是cron命令：

* * * * * sh /home/username/anaconda2/folder/getdata.sh

这个cron运行，每1分钟（我查了日志文件，它似乎是确定）这里是SH文件中的代码：

#!/home/username/anaconda2/bin/python 
cd /home/username/anaconda2/crawler_folder 
PATH=$PATH:/home/username/anaconda2/bin 
export PATH 
scrapy crawl spider

sh代码按照预期在终端中执行，但不作为cron作业执行。能否请你帮忙

来源

2017-07-18 Medi Naseri

您可能需要再次检查您的cron日志，然后，例如https://askubuntu.com/a/121560。也许'scrapy'命令在cron运行时不可用（你可以用'.sh'脚本中的'scrapy'来检查） –

如果我这样做了，我可以在哪里看到结果？在日志中它只显示cron作业已执行。 –

你读过那个askubuntu答案吗？如果您使用'* * * * * sh /home/username/anaconda2/folder/getdata.sh >> /home/username/myscript.log 2>＆1'，您是否看到scrapy抓取正在启动？ –

这对我来说就像.sh文件和cron作业一样。

#!/home/username/anaconda2/bin/bash 
PATH=/home/username/anaconda2/bin:home/username/anaconda2/sbin 
cd /home/username/anaconda2/crawler_folder && scrapy crawl spider

来源

2017-07-18 23:14:18

以Cron作业运行Anaconda-Scrapy

回答

相关问题