发送电子邮件刮后scrapy

pipeline.py代码发送电子邮件刮后scrapy

class Examplepipeline(object): 

def __init__(self): 
    dispatcher.connect(self.spider_opened, signal=signals.spider_opened) 
    dispatcher.connect(self.spider_closed, signal=signals.spider_closed) 

def spider_opened(self, spider): 
    log.msg("opened spider %s at time %s" % (spider.name,datetime.now().strftime('%H-%M-%S'))) 

def process_item(self, item, spider): 
     log.msg("Processsing item " + item['title'], level=log.DEBUG) 


def spider_closed(self, spider): 
    log.msg("closed spider %s at %s" % (spider.name,datetime.now().strftime('%H-%M-%S')))

在上面的蜘蛛的代码，它会显示开始时间和蜘蛛的结束时间，但是现在的完成后，蜘蛛，我想收到一封来自scrapy的“Scraping已完成”的邮件。是否有可能做到这一点。如果可能，我们可以用spider_closed方法编写代码，任何人都可以分享一些示例代码来了解如何执行此操作。

来源

2012-07-10 shiva krishna

你有没有看着文档：

http://doc.scrapy.org/en/latest/topics/email.html

从文档

from scrapy.mail import MailSender 

mailer = MailSender() 
mailer.send(to=["[email protected]"], subject="Some subject", body="Some body", cc=["[email protected]"])

基本用法你也可以在你自己实现一些自定义的。例如，如果你想使用Gmail：

def send_mail(self, message, title): 
    print "Sending mail..........." 
    import smtplib 
    from email.MIMEMultipart import MIMEMultipart 
    from email.MIMEText import MIMEText 
    gmailUser = '[email protected]' 
    gmailPassword = 'password' 
    recipient = 'mail_to_send_to' 

    msg = MIMEMultipart() 
    msg['From'] = gmailUser 
    msg['To'] = recipient 
    msg['Subject'] = title 
    msg.attach(MIMEText(message)) 

    mailServer = smtplib.SMTP('smtp.gmail.com', 587) 
    mailServer.ehlo() 
    mailServer.starttls() 
    mailServer.ehlo() 
    mailServer.login(gmailUser, gmailPassword) 
    mailServer.sendmail(gmailUser, recipient, msg.as_string()) 
    mailServer.close() 
    print "Mail sent"

，只是把它想：

send_mail("some message", "Scraper Report")

来源

2012-07-10 10:16:31 iblazevic

感谢您的回复这就是真正有用的 – 2012-07-10 10:25:20

您好，可能有人请告诉我在哪里把这些代码？ pipeline.py或主要的sider文件。我没有ide。谢谢 – user2492364 2014-08-27 02:25:03

@ user2492364有没有具体的答案，这取决于你的业务逻辑。例如，如果你想发送报告，你可以在流水线上做到这一点，但我更喜欢捕捉蜘蛛关闭信号，然后发送邮件 – 2015-03-19 13:30:40

我的自我推销道歉，但我最近创建yagmail：即努力以方便包发送Gmail邮件（文本，HTML，图像等）。

这是你需要连接代码：

import yagmail 
yag = yagmail.SMTP('[email protected]', 'password')

然后你使用它来发送电子邮件：

yag.send('mail_to_send_to', 'Scraper Report', 'some message')

什么是好的是，你不必保持周围设置作为文本，但您可以依靠操作系统的钥匙环来获得真正安全和舒适的感觉。

它甚至可以是一个内衬（即自动关闭）：

SMTP('mail_you_send_from').send('mail_to_send_to', 'Scraper Report', 'some message')

来源

2015-04-18 19:40:45 PascalVKooten

发送电子邮件刮后scrapy

回答

相关问题