Robots.txt - 允许漫游器仅通过htts访问

Question

我们的站点仅使用https，所以任何http都会被强制使用https。但是仍然有一些机器人想通过http强制进入。

我已经搜索，但找不到一个简单的方法来做到这一点。

所以我的问题是，我应该怎么写的robots.txt，这样我只允许HTTPS

Answer 1

写硬盘302重定向到HTTPS。如果只有一个http only bot，它不是一个搜索引擎机器人。 Google，Yahoo和Bing仅接受https。你可以忽略所有其他的机器人。

Answer 2

如果您使用HTTP 301从HTTP重定向到HTTPS，有能力的机器人会注意到重定向（并根据机器人的用途，跟随它，更新它们的索引等）。如果您想禁止抓取您的HTTP URL，请注意，漫游器无法获知这些网页现在具有新的URL，因为它们不允许访问它们以通知重定向（如果您有或有HTTP链接）。

如果你还希望禁止HTTP网址抓取，请将以下robots.txt在http://example.com/（或http://www.example.com/或任何你的主机），并做不重定向这个特定的URL来https://example.com/robots.txt。

User-agent: * 
Disallow:/