http://wayback.archive.org/web/ */linksku.comWayBack机器停止存档我的网站,我的robots.txt有问题吗?
我上次存档的时间是去年7月份。几个星期前,我意识到我的robots.txt文件有错误,我解决了它。但是,我的网站仍未被抓取。怎么了?
我的robots.txt文件是在这里:http://linksku.com/robots.txt
http://wayback.archive.org/web/ */linksku.comWayBack机器停止存档我的网站,我的robots.txt有问题吗?
我上次存档的时间是去年7月份。几个星期前,我意识到我的robots.txt文件有错误,我解决了它。但是,我的网站仍未被抓取。怎么了?
我的robots.txt文件是在这里:http://linksku.com/robots.txt
自由之路机结果significantly--有时六个月或更长时间延迟。
Alexa的抓取做出现在Wayback中,延迟了6个月,但这只是我们当前爬行的一小部分。 2012年这个比例更大。 – 2016-06-11 00:06:06
该链接是为他们的旧服务。新的测试版服务执行归档您的网站:
http://web-beta.archive.org/web/ */HTTP://linksku.com
你总是可以告诉他们提交您的页面web.archive.org做手工归档 – Pacerier 2015-06-05 11:14:07