2013-04-15 35 views
2

我试图从索引中排除某些网页。我有搜索表单,您可以在其中使用一些预定义的参数或用户键入的查询。我需要阻止具有用户提供查询的搜索结果。使用模式来阻止robots.txt中的一些动态网址

网址示例:

  • example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=#指数吧!
  • example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=#索引它呢!
  • example.com?adv=0&query=**USER_QUERY**&r=0&woj=0&msc=&osk=&osb=&osn=#不要索引!

的robots.txt:

User-Agent: * 

Disallow: /example.com?adv=0&query=*&r=0&woj=0&msc=&osk=&osb=&osn= 

将星号工作,因为我期待?谷歌会知道星号只与&query param有关联,如果这个参数为空,那么URL应该被索引?

+0

请注意,在'User-agent'和'Disallow'之间不应该有空行。 – unor

+0

请注意,“Disallow”中的URL路径不应以主机('domain.com')开头。 – unor

+0

是的,这只是一个例子... –

回答