如何告诉谷歌机器人，某些链接不再存在

Question

在网站的第一天，我犯了一些链接的错误，跟着他们输出一个数据库错误。

谷歌机器人试图追踪这些链接，现在它们在网站管理员工具中显示为抓取错误。 尽管我已经纠正了错误，但Google仍尝试抓取它们。

如何告诉Google，这些链接不再存在，并且它们导致不在哪里？我不能做一个301重定向的原因，可以说这些链接是有效的，并且可以将它们编入索引。

Answer 1

如果页面消失了，没有逻辑的更换，那么你通常应该返回一个错误404，在这种情况下，但是我会考虑返回410 Gone - 这表明该页面已永久删除，永不返回，应该从谷歌索引中清除。

它可能值得grep现有的代码库的网址的问题，以确保没有任何链接留给他们。

至于301的301并不意味着链接有效，301永久移动。这告诉谷歌它以前在这里寻找的页面现在住在其他地方，并指示谷歌到新的位置。从事物的声音中不适用于您的情况，但与您描述的方式略有不同。

欲了解更多信息，请参阅http://en.wikipedia.org/wiki/List_of_HTTP_status_codes

Answer 2

我只想标志着他们在你的robots.txt

http://www.robotstxt.org/robotstxt.html