检查网站是否使用站点地图和机器人文件

Question

如何知道网站是否使用robot.txt和sitemap.txt？我已经完成提取关键字，描述，标题;但我无法找到代码的方式来检查网站是否使用robot.txt和sitemap.txt。

我做这样的http://www.seoptimer.com/report/loadster.in/5553240531d12

Answer 1

使用的file_get_contents东西：

$robotsContents = file_get_contents("http://targetdomain.com/robots.txt"); 
$sitemapContents = file_get_contents("http://targetdomain.com/sitemap.xml"); 

检查的内容是假的，假的就意味着404没找到，然后检查，如果它不是HTML内容（因为有些站点重定向每个URL）与strpos($robotsContents, '<html') === false，如果没有标签，则表示它可以是txt或xml文件。

所以：

function pathExistsAndIsNotHtml($path) { 
    $contents = @file_get_contents($path); 
    return ! empty($contents) && strpos($contents, '<html') === false; 
} 
if(pathExistsAndIsNotHtml("http://targetdomain.com/robots.txt")) { 
    echo '<a href="http://targetdomain.com/robots.txt">http://targetdomain.com/robots.txt</a>'; 
} else { 
    echo 'There is no robots.txt'; 
} 
if(pathExistsAndIsNotHtml("http://targetdomain.com/sitemap.xml")) { 
    echo '<a href="http://targetdomain.com/sitemap.xml">http://targetdomain.com/sitemap.xml</a>'; 
} else { 
    echo 'There is no sitemap.xml'; 
}