筛选出搜索引擎机器人流量

Question

我在我的网站上进行定制滚动视图跟踪，我只是意识到我完全忘记了搜索机器人击中页面。如何从视图跟踪中滤除流量？

Answer 1

看看用户代理。黑名单似乎是合乎逻辑的，即过滤掉所有包含“Googlebot”或其他已知搜索引擎机器人的字符串，但其中有很多这样的字符串，它们可能是白名单最简单的：使用已知浏览器记录访问者。

另一种方法是使用一些JavaScript来做实际的日志记录（就像Google Analytics一样）。机器人不会加载JS，因此不会计入您的统计数据。您还可以采用这种方式进行更详细的日志记录，因为您可以准确地看到（到像素 - 如果需要）点击了哪些链接。

Answer 2

您可以检查用户代理：here有一个不错的列表。 或者您可以在robots.txt上进行交叉检查，因为所有的蜘蛛都应该先阅读，而用户通常不会阅读。