2
我试图从索引中排除某些网页。我有搜索表单,您可以在其中使用一些预定义的参数或用户键入的查询。我需要阻止具有用户提供查询的搜索结果。使用模式来阻止robots.txt中的一些动态网址
网址示例:
example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=
#指数吧!example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=
#索引它呢!example.com?adv=0&query=**USER_QUERY**&r=0&woj=0&msc=&osk=&osb=&osn=
#不要索引!
的robots.txt:
User-Agent: *
Disallow: /example.com?adv=0&query=*&r=0&woj=0&msc=&osk=&osb=&osn=
将星号工作,因为我期待?谷歌会知道星号只与&query
param有关联,如果这个参数为空,那么URL应该被索引?
请注意,在'User-agent'和'Disallow'之间不应该有空行。 – unor
请注意,“Disallow”中的URL路径不应以主机('domain.com')开头。 – unor
是的,这只是一个例子... –