0
我是java.I中的新成员想让一个简单的web crawler.how访问robots.txt文件中的一个网站在java.actually我不太了解robots.txt。 plz帮助我。在java中访问robots.txt文件
A
回答
2
您需要解决两个任务：
- 使用HTTP库通过HTTP来获取文件 - How to send HTTP request in java?
- 写或使用解析器的robots.txt文件 - robots.txt parser java
相关问题
- 1. robots.txt文件
- 2. 我们无法访问您网站的robots.txt文件
- 3. Nginx块robots.txt文件
- 4. 删除随机访问文件Java中
- 5. 使用随机访问文件Java中
- 6. 访问java中的文件/目录
- 7. 如何访问java中的DLL文件？
- 8. 如何访问Java ME中的文件
- 9. 如何在Java 7 java.nio.file.Path中访问子文件/文件夹？
- 10. 允许和禁止在robots.txt文件中
- 11. 防止通过.htaccess直接访问robots.txt
- 12. Robots.txt阻止访问所有https：//页面
- 13. 在EJB中访问文件
- 14. 在java中访问Jenkins插件静态文件
- 15. 在java中访问属性文件不在构建路径上
- 16. robots.txt解析器java
- 17. robots.txt文件可能无效
- 18. 如何访问文件的.tar文件中的Java
- 19. Java：访问嵌入式jar文件中的文件
- 20. JAVA - 访问不同子文件夹中的文件
- 21. java访问客户端文件系统
- 22. 通过Java访问OLEDB源文件
- 23. 从Java访问SDF SQLServer移动文件
- 24. Java设置文件访问日期
- 25. Alfresco：从java类访问属性文件
- 26. Google App Engine - Java Servlet - 文件访问
- 27. 无法访问Java脚本文件夹
- 28. 访问属性文件：Java和Linux的
- 29. 无法访问生成的java文件
- 30. Java -jar：访问外部配置文件
你到目前为止尝试过什么？ – 2012-04-10 23:39:38
robots.txt文件位于每个网站上相当标准的位置（因为任何给定数量的各种搜索引擎都需要能够找到它）。访问它就像获得[url] /robots.txt一样简单;） – 2012-04-10 23:45:37