Robots.txt与一个网站，但两个域

我有一个网站，其中有两个域添加。这两个域指向网站的根。是否可以更改robots.txt，以便其中一个域不会被抓取，而另一个域仍然会被抓取？Robots.txt与一个网站，但两个域

2010-05-06 Dofs

您应该执行301重定向到您的首选域，该域会告诉机器人要抓取哪个网址。

例如

www.domain1.com

应该301重定向到

www.domain2.com

同样

www.domain1.com/Contact-Us/

应该301重定向到

www.domain2.com/Contact-Us/

2010-05-06 07:03:21 Fenton

我也考虑过这个问题，但希望我可以用相反的方式来做，因为用户仍然想要访问www.domain1.com/contact-us，但搜索引擎应该只抓取domain1.com/contact-我们 – Dofs 2010-05-06 07:16:54

你应该尝试使用相同的首选主要地址，说实话。如果你想让你的用户看到www，你应该让机器人使用www。 – Fenton 2010-05-06 15:28:34

回答