如何阻止Google抓取我的Bitly Branded短域名？

Question

问题是，我们正在使用bitly品牌的短域作为URL缩短。我们的品牌短域名是d.so.city

现在，无论何时我在google上搜索site：so.city，所有d.so.city链接都会出现在真正的网站url之前。我不希望这些恶意网址被抓取。我知道这可以通过子域的robots.txt轻松完成，但我们无法访问子域的robots.txt文件，因为它完全链接在一起。

我也试过谷歌网站管理员的参数阻止，但也没有运气。我也经历了Bitly文档，但也找不到与之相关的任何内容。

下面是我的网站搜索的样子，现在快照：

我不希望这些d.so.city链接出现在谷歌搜索。如果有人能够帮助解决这个问题，我们将非常感激。

Answer 1

我认为在d.so.city下的每个页面都没有索引元标记应该能够做到。

为了防止大多数搜索引擎网页抓取工具将您网站网页的索引，请将以下元标记添加到网页的部分：

<meta name="robots" content="noindex"> 

为了防止只有谷歌网页抓取特定网页建立索引：

<meta name="googlebot" content="noindex"> 

如果你要告诉Google网站管理员参数阻止，它本质上是试图阻止抓取特定页面后发现的东西。

Ref：https://support.google.com/webmasters/answer/93710?hl=en