如何阻止我的Rails应用被机器人击中？

Question

我甚至不确定我是否使用了正确的术语，无论这是否实际上是机器人。我不想使用“垃圾邮件”这个词，因为它不像我有评论或发布的内容正在被创建/发送垃圾邮件。它看起来更像是对我的域做出了同样的重复请求，这使我认为它是某种机器人。

我已经打开了我的第一个Rails应用程序到'公共'，这是一个真正的小组用户，目前< 50。那是上周五。我开始有今天的表现问题，所以我看着日志，我看到吨，这些RoutingErrors

ActionController::RoutingError (No route matches "/portalApp/APF/pages/business/util/whichServer.jsp" with {:method=>:get}): 

他们正在填充日志，我假定这是导致经济放缓。注意最后的.jsp，这是一个Rails应用程序，所以我的应用程序中没有像这样的远程URL。我的意思是，我甚至没有/ portalApp，所以我不知道这是从哪里来的。

这是托管在Dreamhost，我与他们的支持人员聊天，他建议一对夫妇的网站详细使用htaccess来阻止事情。但是，看起来您需要知道请求来自的IP或域，我不知道。

我该如何阻止？如何从请求中找到IP或域？还有其他建议吗？

---

跟进信息：

看访问日志后，它看起来像它不是一个机器人。也许我没有正确读取日志，但是来自相同IP的有效url请求（从我的Flex应用程序中生成）。所以现在我想知道是否是某种插件生成请求，但我真的不知道。现在我想知道是否可以根据模式阻止某个url请求，但我想这是一个单独的问题。

Answer 1

这些页面似乎提供了一些很好的建议： Here

上阻断通过用户代理的部分可能是一些你可以看看如何实现。无论如何，您可以从日志中获得bot的useragent吗？如果是这样的寻找，可能识别机器人用户代理的独特的一面，并添加下面为.htaccess更换相关位

BrowserMatchNoCase SpammerRobot bad_bot 
Order Deny,Allow 
Deny from env=bad_bot 

其更详细，当然该链路上的细节，如果你不能从日志中获得useragent，那么这对你来说是没有用的！

Answer 2

您还可以更新您的public/robots.txt文件以允许/禁止机器人。

http://www.robotstxt.org/wc/robots.html

Answer 3

老问题，但对于人谁仍在寻找替代品，我建议检查出的Kickstarter的rack-attack gem。不仅允许黑名单和白名单，还可以节流。