搜索引擎优化排除特定的文件夹/页

Question

我正在建设这个网站有许多效果不能在移动设备上正常工作，所以我们建立了一个简单的html版本，我们重定向设备时，他们不支持所有的效果。

Normal version URL: www.mysite.com/#some_page_name 

Simple version URL:www.mysite.com/static.php?p=some_page_name 

的事情是我们不希望谷歌，Bing和雅虎在搜索中给出结果的简单版本的网址，我们总是希望人们降落到网站的正常版本。

是否有可能通过Apache，PHP或JS告诉搜索引擎机器人忽略所有以static.php开头的URL？

Answer 1

在您的robots.txt文件将这个：

User-agent: * 
Disallow: /static.php 

这不仅保持了网页机器人索引，也让他们抓取它们放在一起。

Answer 2

使用robots.txt文件，在你的情况下，它看起来像

你可以阅读更多关于robots.txt的here

Answer 3

的robots.txt

Disallow: /static.php

Google Documentation on robots.txt

Answer 4

可以使用robots.txt做到这一点：

User-agent: * 
Disallow: *static.php 

的*是个百搭卡，这将影响所有页面被称为static.php。所以如果你在子目录中遵循类似的范例，这也会影响到它们。