我可以在robots.txt中添加网站/默认/文件吗？

我的网站上的客户有时会上传节点中存储在网站/默认/文件中的文件。理想情况下，我希望文件隐藏在世界中。有一天我很震惊地发现Google在其搜索结果中列出了一个私人文件。我可以在robots.txt中添加网站/默认/文件吗？

那么我可以在robots.txt中添加这个目录吗？它会影响其他东西吗？至少搜索引擎不会把这些文件带给世界！

2011-04-29 AgA

如果您将上传目录添加到robots.txt，Google会跳过它。

这是你如何添加东西的robots.txt：

User-agent: * 
Disallow: /folder/ 
Disallow: /folder/file.htm

2011-04-29 07:50:25

我问的是网站/默认/ files目录明确。没有其他人。与其他节点相关的所有上传图像可能会用作存储区域呢？ – AgA 2011-04-29 09:03:47

也许我不理解你的问题，但是如果你想阻止目录被谷歌或任何其他机器人看到，你可以使用：User-agent：* Disallow：/ sites/default/files/ – 2011-04-29 11:08:16

我知道这一点，但除此之外，我想知道这对于Drupal站点有什么副作用。一个直接的副作用是该目录中的所有图像/文件不会在正常/图像搜索中列出。 – AgA 2011-04-29 12:32:26

回答