搜索引擎机器人可以抓取需要登录的页面吗？

如果用户登录时网站上的主页有内容，用户登录时有另一个内容，搜索引擎机器人是否可以抓取用户特定的内容？搜索引擎机器人可以抓取需要登录的页面吗？

如果他们无法抓取的话，我可以复制从该网站的另一部分内容，使它很容易接触到谁已在登记时提到需求的用户。

我的猜测是没有，但我宁愿相信我做一些愚蠢了。

你不能假设履带支持Cookie，但您可以识别的履带，让您的网站通过代码爬虫“已登录”。但是，这将打开任何用户假装为爬虫获取登录区域中的数据。

2011-02-26 07:02:45 stefan

具体来说，我不希望抓取工具看到用户特定的主页内容。我希望抓取工具显示“未登录”的内容。所以我想你给了答案，因为它需要更多的编码，以允许漫游器爬取登录内容，我可以有一个内容为登录用户，机器人无法抓取:) – 2011-02-27 06:47:16

机器人将能够看到文档中的所有内容。如果文档中不存在该内容，则该机器人将不会看到该内容。如果它存在于文档中但隐藏在视图中，则抓取工具将能够抓取它。

2011-02-26 07:02:02 Orbit

即使可以这样做是对的条款大多数搜索引擎显示的履带的内容是不一样的东西任何用户将获得进入并可能导致您的网站从索引中被禁止。

这就是为什么像expertsexchange网站都有，如果你所有的方式滚动至底部，即使他们试图使它看起来像你必须注册，以提供答案。（如果你有一个谷歌的引荐进入expertsexchange顺便说一句，因为这个原因这是唯一可能的）

2011-02-26 07:28:20 adfklfadklj

回答