Htaccess/robots.txt允许搜索机器人探索主域名，但不在其他域名的目录

Question

好吧，我明白标题没有任何意义，所以我在这里试图详细解释它。

我使用的托管为我的域提供了空间，并让我“添加”其上的其他域。所以我们可以说我有一个域A，并且我添加了一个域B.基本上，我的主机给了我一个public_html，在那里我可以放置当某人访问网站A时显示的内容。但是，当我添加域B时，它让我把这个public_html的B，INSIDE的内容，以便网站B.com也可以通过访问A.com/siteB来访问......这一切都很好，除了Google已经开始索引B.com和A.com/ siteB，我确定它是为B.com编制索引的，但我不知何故想阻止它将A.com/siteB编入索引，以便当人们搜索B时，它不会显示A.com/siteB。

任何想法？让我知道如果这个问题还不清楚。

Answer 1

只要把

User-agent: * 
Disallow: /siteB 

在robots.txt在你的主域名的根。所有有礼貌的机器人都会接受这一点，但根据他们访问您网站的频率，您可能需要稍等一会才会搜索引擎更新其数据库。

此外，您可以用重定向规则/站点B/...重定向已使用的站点A域http://siteB/做请求添加的.htaccess ...这将让每个人都使用，即使他们浏览canonical域到较不喜欢的那个。