不要在同一托管的多个域名上搜索某些页面

我有一个包含2个域名的托管账号，网站通过阅读正在使用的域名来显示不同的内容。不要在同一托管的多个域名上搜索某些页面

谷歌会蜘蛛这个并列出2个域作为不同的网站。

因此，我们这些上市的谷歌： -
www.blue.com/index.php
www.pink.com/index.php

然后让说，我只有我的另一页想在蓝色域名：www.blue.com/test.php，因为域名停放，这仍然可以在www.pink.com/test.php

这意味着它会得到蜘蛛，不想要这样做。

我该如何解决这个问题？

是否有可能有多个htaccess规则取决于域？或者，也许robots.txt停止蜘蛛 - 这将如何与多个域的工作？

对我来说最好的解决方案是什么？

来源

2013-08-07 bigdaveygeorge

重定向到不同的领域特定robots_（蓝色|粉红色）.TXT在.htaccess：

<IfModule mod_write.c> 

    RewriteEngine on 

    # internal redirect to robots_blue.txt 
    RewriteCond %{HTTP_HOST} =www.blue.com 
    RewriteRule ^robots\.txt$ /robots_blue.txt [L] 

    # internal redirect to robots_pink.txt 
    RewriteCond %{HTTP_HOST} =www.pink.com 
    RewriteRule ^robots\.txt$ /robots_pink.txt [L] 

    # internal redirct to index_blue.php, rewrite internal only 
    RewriteCond %{HTTP_HOST} =www.blue.com 
    RewriteRule ^index\.php$ /index_blue.php [L] # or "... /index.php?site=blue" 

    # external permanent redirect of test.php to index.php if not www.blue.com 
    RewriteCond %{HTTP_HOST} !=www.blue.com 
    RewriteRule ^test\.php$ /index.php [L,R=301] 

    # internal redirect 
    RewriteCond %{HTTP_HOST} =www.pink.com 
    RewriteRule ^index\.php$ /index_pink.php [L]

robots_blue.txt，不www.blue.com抓取test.php的：

User-agent: * 
Sitemap: http://www.blue.com/sitemap.xml 

Disallow: /test.php 
Disallow: ...

robots_pink.txt，爬行允许www.pink.com：

User-agent: * 
Sitemap: http://www.blue.com/sitemap.xml 

Disallow:

如果www.blue.com的Disallows与www.pink.com相同，请将robots_blue.txt作为robots.txt用于这两个域。如果www.pink.com中没有使用test.php，它应该可以工作。

但是，如果要在robots.txt中使用sitemap.xml，这应该是一个解决方案。

来源

2013-08-10 00:14:22

不要在同一托管的多个域名上搜索某些页面

回答

相关问题