如何设置允许除主页外的所有页面的robots.txt？

Question

如果我有一个名为http://example.com网站，并在其下我的文章，如： http://example.com/articles/norwegian-statoil-ceo-resigns

基本上，我不想从FrontPage文本显示在谷歌搜索结果，这样，当你搜索“statoil首席执行官”，你只能得到文章本身，而不是包含这个文本但不是文章本身的首页。

Answer 1

如果你这样做了，那么Google仍然可以在链接下面显示你的主页，并在链接下面说明他们无法抓取页面。这是因为robots.txt不会停止正在编入索引的页面。你可以不指定主页，但我个人不会推荐它。