如何在搜索引擎结果中隐藏Robots.txt？

Question

我不想在搜索结果列表中看到Robots.txt。我正在研究一个asp.net项目。

我发现了一些失败的解决方案，如下面的其中之一：

• 在头部使用 “X-Robots-Tag中”。

但我想隐藏一个txt文件，以便在它里面没有“头”的一部分。

感谢您的帮助。

Answer 1

大写字母对大多数流行的搜索引擎很重要，包括Google（source）。将您的文件名从Robots.txt更改为robots.txt。如果您的名称正确，最流行的搜索引擎（Bing，Yahoo，Google等）将不会对其进行索引。你没有额外的努力。

Here是雅虎的爬虫帮助，描述区分大小写。

Here是描述爬行者关于robots.txt的常见礼貌的标准。明确指出，空的robots.txt文件被完全忽略，并且它们没有被索引是常识。否则，我们会在Google中看到数十亿个robots.txt搜索结果。

Answer 2

通过http发送的txt文件有一个标题（包含type：text/plain）只是请求并发送txt与您自己的标题。