Robots.txt，禁止使用多语言URL

我有一个公共页面，用户无法登录。所以我有一个网址，没有链接，你必须手动输入，然后登录。Robots.txt，禁止使用多语言URL

该网址是多语言，但它可以是“/ SV /帐户/登录”或“/ EN /帐户/登录“等等。我可以禁用此网址索引所有语言？

此网页可能对您有所帮助http://www.robotstxt.org/robotstxt.html。将有你的情况不排除通配符您必须添加所有语言特定登录网址的robot.txt

更新

你可以把Disallow: /folder/subfolder/或Disallow: /folder/在robots.txt文件中

2010-09-03 08:32:17

谢谢回答。我读过，不想这样做。例如，其他用户可能会使用管理界面添加更多语言，他们不知道如何编辑robots.txt。也许我可以在添加更多语言时从我的代码编辑它 – 2010-09-03 08:36:35

@Oskar你也可以考虑将这些页面移动到一个文件夹下，然后在robots.txt的例外列表中添加该文件夹。 – 2010-09-03 09:43:29

@ajay_whiz它们都在同一个文件夹下。但是我可以写文件夹吗？我认为唯一影响这个网址的URL是 – 2010-09-03 09:55:34

回答