2012-03-25 36 views
1

http://wayback.archive.org/web/ */linksku.comWayBack机器停止存档我的网站,我的robots.txt有问题吗?

我上次存档的时间是去年7月份。几个星期前,我意识到我的robots.txt文件有错误,我解决了它。但是,我的网站仍未被抓取。怎么了?

我的robots.txt文件是在这里:http://linksku.com/robots.txt

+0

你总是可以告诉他们提交您的页面web.archive.org做手工归档 – Pacerier 2015-06-05 11:14:07

回答

0

自由之路机结果significantly--有时六个月或更长时间延迟。

+0

Alexa的抓取做出现在Wayback中,延迟了6个月,但这只是我们当前爬行的一小部分。 2012年这个比例更大。 – 2016-06-11 00:06:06