HTTP错误获取URL

Question

我试图分析此网站与Jsoup：http://www.listofnewspapers.com/2014/04/site-map.html但我得到这个错误：

For ' http://www.listofnewspapers.com/2014/04/site-map.html ': HTTP error fetching URL"

我相信错误是在connect(URL).get()发生。

我打印状态码用于调试目的，我得到200。

我尝试过与其他多个网站，他们连接好。

Answer 1

这似乎像用户代理被过滤。尝试建立一个：

Jsoup.connect(URL).userAgent("Mozilla").get() 

Answer 2

使用火狐的userAgent：

.userAgent("Mozilla") 

例如：

Jsoup.connect("https://stackoverflow.com/questions/44349297/http-error-fetching-url").userAgent("Mozilla").get(); 

来源：Can Jsoup simulate a button press?