在robots.txt中列出站点地图和站点地图索引文件？

Question

我的网站由3个主要部分组成：评论，论坛和博客。我有自动生成站点地图的论坛和博客插件。 forum插件生成指向多个索引的站点地图INDEX文件，博客插件生成一个包含我所有博客内容的常规站点地图文件。以下是他们的作品从robots.txt的：

Sitemap: http://www.datesphere.com/forum/sitemap-index.xml 
Sitemap: http://www.datesphere.com/blog/sitemap.xml 

我刚刚创建了一个包含在评论部分中的所有内容的评论sitemap.xml的文件。我正打算只需添加一行的robots.txt所以整个事情是这样的：

Sitemap: http://www.datesphere.com/forum/sitemap-index.xml 
Sitemap: http://www.datesphere.com/blog/sitemap.xml 
Sitemap: http://www.datesphere.com/reviews-sitemap.xml 

我的问题是：我知道你可以列出的robots.txt多个站点地图，但它是确定有站点地图索引文件以及多个站点地图列出？如果Googlebot在robots.txt中找到sitemap-index.xml文件，它会忽略其他站点地图文件吗？如果是这样，我是否必须将我的博客和评论站点地图放在另一个站点地图索引文件中，并将其列入robots.txt中？

我检查过，但只能找到问题的答案“我可以列出多个站点地图？”

Answer 1

即使您列出了其父网站地图索引，Googlebot也不会忽略您在robots.txt中列出的任何Sitemaps。我们几乎遵循我们发现的每一个环节，如果我们被允许，我们会抓取它们。 个人而言，我可能只列出Sitemaps索引，尽管只是出于可管理性的考虑，但这取决于您，Googlebot不会在意您是否列出了索引和Sitemaps。

Answer 2

当你有多个站点地图，你可以指定你的站点地图索引文件的URL在robots.txt文件，如下面的例子：

// robots.txt 
Sitemap: http://www.example.com/sitemap_index.xml 
User-agent:* 
Disallow: /some/disallowed/path 

或者，您可以指定多个Sitemap的每个网址文件，如下例所示：

// robots.txt 
Sitemap: http://www.example.com/sitemap_host1.xml 
Sitemap: http://www.example.com/sitemap_host2.xml 
User-agent:* 
Disallow: /some/disallowed/path 

最后，这是你需要注意添加网站导航指令的robots.txt文件时要什么。