创建Web蜘蛛/机器人脚本需要帮助在Perl
我的目的:
要创建一个Perl脚本,将创建一个Web蜘蛛/机器人。 我的脚本将从互联网上下载一个网页,搜索并提取Metatags, 然后将它们编入MySQL数据库中。
我的数据库可以通过元标记字段或通过网页界面的URL进行搜索。
我的脚本还会显示完整的数据库,其中包含一个列出数据库中记录数量的特殊字段。
所以我的问题是:
我该如何去有关网络蜘蛛会从互联网下载的网页,并提取元标记创建一个脚本?
我可以阅读哪些资源来帮助我创建此文件或任何脚本?
谢谢你的时间!
看看WWW :: Mechanize。 – 2012-08-09 21:36:27
如果您使用Perl,您可能会开始查看cpan中的各种HTTP模块:http://www.cpan.org/modules/index.html。 (你可以在那里找到Sebastian建议的WWW :: Mechanize) – scrappedcola 2012-08-09 21:37:00
感谢您的建议。我不知道该网站大声笑 – Umeed 2012-08-09 21:40:09