如果存在重定向，Google bot会抓取整个网站

我有一个网站在三次页面查看后将用户重定向到登录页面。谷歌机器人将能够看到我的所有网页或将它重定向。如果是这样，我该如何解决这个问题。如果存在重定向，Google bot会抓取整个网站

我发现了一个关于Googlebot的问题，这个答案，

if((!$user->uid) || (!strpos($_SERVER['HTTP_USER_AGENT'],"Googlebot")) ||  (!strpos($_SERVER['HTTP_USER_AGENT'],"MSNBOT"))){ 
// redirect 
else{ 
// don't redirect 
}

将这项工作？

来源

2012-04-27 user845124

Google bot被重定向。 “Google机器人能够查看我的所有页面”是什么意思？ – vedarthk 2012-04-27 19:35:04

不要为搜索引擎提供不同的内容，那么你做你的用户。这就是所谓的隐形，是一种被禁止的好方法。
您应该使用“first page free”。正是像Expert Exchange这样的网站允许Google抓取他们的受限内容。

来源

2012-04-27 19:34:07

谷歌机器人只会像真正的用户一样行事。如果他们发现你试图解决它，它会对你的搜索引擎优化 – 2012-04-27 19:42:55

感谢您的信息。内容对任何人都是一样的，但在3次页面浏览之后，我希望他们注册。所以这仍然会让我被禁止。我会看看“第一页免费”，看看是否有效。谢谢。 – user845124 2012-04-27 19:44:49

这是我对“第一次点击免费”的理解。如果用户点击链接，并且没有注册，就会被视为“第一次点击免费”。我将其设置为在一次页面查看后你必须注册。我使用cookies。我检查了谷歌分析，它显示我的一些网页没有得到索引后，我添加了重定向。我的猜测是，谷歌搜索结果导致页面登录，而不是该页面，因为cookies.How我可以让用户看到该页面，如果他们从谷歌搜索链接。是否有可能知道，如果用户来自谷歌。 – user845124 2012-05-01 03:05:47

Google Bot被重定向，它会将内容从重定向页面带入其数据库，就像原始URL一样。

来源

2012-04-27 19:40:14 vedarthk

如果存在重定向，Google bot会抓取整个网站

回答

相关问题