如何知道HTTP请求是否是BOT

Question

我正在寻找BOTS的用户代理（爬虫，蜘蛛，twitter机器人等）的完整列表。

你知道吗？

感谢

Answer 1

长话短说：你不能，没有银弹。任何机器人都可以将他们的user-agent字符串设置为'googlebot'到'spamalot'之间的任何内容。

你可以亲自看到它，你需要做的就是去Shinnok指出的第一个站点，并开始计算那里列出的所有那些Googlebot/2.X机器人。你阻止他们，他们改变机器人的名称为随机乱码等。最后，您最终会得到一个10k的机器人列表，当您尝试验证它们是否是机器人时，会减少用户的加载时间。

Answer 2

查看该列表： http://www.botsvsbrowsers.com/category/1/index.html

它包含的4768个机器人用户代理的总数。

完成机器人检测的另一种方法是以白名单的方式使用反向方法，即检查用户代理是否不是机器人，那么其他任何东西都是机器人。 :-)

要编译非bot用户代理的完整列表，您可以使用列表http://www.user-agents.org/和http://www.botsvsbrowsers.com/。