使用JSoup从所有页面获取结果

Question

我正在使用jsoup库，今天我遇到了问题。 我凑DuckDuckGo，并获得每一个页面的查询结果的所有冠军，但使用

Document doc = Jsoup.connect("https://duckduckgo.com/html/?q=" + query).get(); 

我得到大约只有第一页的结果。我怎样才能继续下一页？

Answer 1

您需要从每个页面中提取表单参数以获取下一页的请求参数。这是如何：

public static Map<String, String> getFormParams(final Document doc) { 
     return doc.select("div.nav-link > form") 
       .first() 
       .select("input") 
       .stream() 
       .filter((input) -> { 
        return input.attr("name") != null && !input.attr("name").equals(""); 
       }) 
       .collect(Collectors.toMap(input -> input.attr("name"), input -> input.attr("value"))); 
    } 

    public static void main(final String... args) throws IOException { 
     final String baseURL = "https://duckduckgo.com/html"; 
     final Connection conn = Jsoup.connect(baseURL) 
       .userAgent("Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19"); 
     conn.data("q", "search phrase"); // Change "search phrase" 

     // 1st page 
     final Document page1 = conn.get(); 

     final Map<String, String> formParams 
       = getFormParams(page1); 

     // 2nd page 
     final Document page2 = conn.data(formParams).get(); 
    }