如何停止刮从我的PHP页面链接

Question

我有一些链接和邮件的ID我需要停下来刮我的网址和邮件ID的主页形成的网页... 我已经使用的robots.txt但最的坏履带惯于就该....

Answer 1

那么，你可以总是试图用JavaScript或图像或东西弄乱你的网址。但请不要这样做。你只会对使用屏幕阅读器的旧浏览器和盲人产生愤怒。只需使用垃圾邮件过滤器即可阻止垃圾邮件发送给您的电子邮件地址。

如果你有一个内容较多的网站，你想从你的刮内容阻止人们，你可以尝试限制游客到每十秒十大金曲。这对大多数访问者来说已经足够了，但它会显着降低内容挖掘者的速度。您可以随时调整此算法，并禁止严重违规者的IP。

Answer 2

你可以encode一些链接，例如foo@bar.com而不是foo@bar.com。

Answer 3

使用从真正的用户隐藏一个蜜罐链接。禁止robots.txt中的网址并在其上添加nofollow，以便可尊敬的引擎不会触及它。当页面加载时隐藏JavaScript链接，合法用户不会点击它。暂时阻止任何碰到链接的IP或会话。