1
我正在使用付费地理定位脚本将用户定向到基于国家/地区的特定站点。 但是,我收取很多费用,因为机器人不断抓取我的大型网站的每一页。从robots.txt中禁止Google机器人并列出站点地图
如果我禁止robots.txt中的谷歌,并提供robots.txt内的网站地图,谷歌仍然会索引我的网页没有爬网?
例
User-agent: *
Disallow:/
Sitemap: sitemap.xml
我正在使用付费地理定位脚本将用户定向到基于国家/地区的特定站点。 但是,我收取很多费用,因为机器人不断抓取我的大型网站的每一页。从robots.txt中禁止Google机器人并列出站点地图
如果我禁止robots.txt中的谷歌,并提供robots.txt内的网站地图,谷歌仍然会索引我的网页没有爬网?
例
User-agent: *
Disallow:/
Sitemap: sitemap.xml
谷歌索引只爬行......
为你做的最好的事情,就是当你发现一个谷歌机器人(或其他)禁用脚本地理位置您 可以通过各种方式识别它们:HTTP_USER_AGENT或HTTP_FROM,或IP