htaccess的重写规则问题

Question

我有一个重写规则在我htaccess文件就像下面这个例子：

 RewriteRule ^company\/([a-zA-Z0-9]+)\/(.+)$ comp_inf.php?cid=$1 

    RewriteRule ^company\/([a-zA-Z0-9]+)\/img/(.*)$ ./img/$1 [L] 
    RewriteRule ^company\/([a-zA-Z0-9]+)\/css/(.*)$ ./css/$1 [L] 
    RewriteRule ^company\/([a-zA-Z0-9]+)\/js/(.*)$ ./js/$1 [L]  

URL链接看起来就像这样：

 http://www.example.com/company/1   

在谷歌搜索，我发现重复未在htaccess的文件中定义的页面

，他们正在寻找这样的：

 http://www.example.com/company/1/page1.php 
    http://www.example.com/company/1/page2.php 

我的问题是如何拒绝扫描这些页面，以及为什么这个扫描发生在这两个页面。

在此先感谢。

Ofer。

Answer 1

首先，您应该发送一个X-Robots noindex,nofollow header这些意外被索引的页面。只要页面没有在谷歌上市了（speed this up），你可以创建一个这样与成才一个robots.txt：

User-agent: * 
Disallow: /company/*/*.php 

当心非绝对链接上http://www.example.com/company/1/到或page1.php中以使page2.php - 例如：

<a href="page1.php">anchortext</a>