几天前，我们用更新后的版本替换了我们的网站。原始网站的内容已迁移至http://backup.example.com。搜索引擎不知道旧网站，我不想让他们知道。Google找到我的备份网站。我能做些什么呢？
虽然我们正在更新我们的网站，但Google抓取了旧版本。
现在，当使用Google搜索我们的网站时，我们会得到新旧网站的结果（例如，http://www.example.com和http://backup.example.com）。
这里是我的问题：
你或许应该把robots.txt文件在备份站点，并告诉机器人不抓取它。 Google会遵守这些限制，但不是所有的抓取工具都会遵守。您可能想要查看Google的WebMaster Central上可用的选项。询问Google，看看他们是否会从他们的数据中删除错误的链接。
您可以随时在备份。*站点上使用robot.txt以禁止Google将其编入索引。
此处了解详情：link text
备份站点和当前站点之间的URL格式是否足够一致，您可以将备份站点上的给定页面重定向到当前站点上的相同页面？如果是这样，您可以这样做，让备份站点发送301永久重定向到您实际上需要索引的网站上的每个等效页面。重定向页面应该退出索引（在多少时间之后，我不知道）。
如果没有，请像Zepplock提到的那样查看robots.txt。设置的robots.txt后，您可以加快从谷歌的索引中删除与他们Webmaster Tools
通过网站管理员工具，您可以控制他们索引的相当不错。这应该给你你需要的权力，以获得它的索引。 – 2009-10-15 03:35:59
你也可以使你的脚本的规则与报头301每页新
robots.txt来重定向是一个很好的建议但是... Google并不总是倾听。是的，没错，他们并不总是在倾听。
所以，禁止所有的蜘蛛，但也....把这个在你的头
<meta name="robots" content="noindex, nofollow, noarchive" />
最好是安全比遗憾。 Meta命令就像在Google上大喊“我不希望你对此页面执行此操作”。 :)
做到这两点，节省自己的一些痛苦。 :)
哦，Google会保留你的文件。即使你从互联网上删除它们。这就是为什么你需要'noarchive'标签。 并将所有的备份文件全部复制到原始文件中。这将解决PR问题和存储问题。 – Monkey 2009-10-22 21:56:27
我建议你要么在所有旧页面中添加索引元标记，要么仅仅通过robots.txt禁止索引元标记。最好的方法就是阻止robots.txt。还有一件事是在新网站中添加网站地图，并将其提交给网站站长，以改善您的新网站索引。
通过在.htaccess文件中放置密码保护代码（如果存在于服务器的网站根目录中或者创建一个新的并且上传），密码保护您不希望网络蜘蛛爬行/索引的网页或目录它）。 网络蜘蛛永远不会知道密码，因此将无法索引受保护的目录或网页。
你可以阻止任何特定的网站管理员的网址一次检查...即使你可以阻止使用robots.txt ....删除旧的备份网站的网站地图，并把noindex没有后续标签为所有的旧备份页面。 ..我也为我的客户之一处理了这种情况............
此外，您可能希望301从您的备份站点永久重定向到您的主站点为无法识别的IP块。这应该会导致Google删除旧备份网站的条目。 – 2009-10-15 19:47:46