JSOUP不呈现完整html

我想呈现一个URL来通过使用JSOUP读取几个参数，但发现它不是呈现完整的HTML。JSOUP不呈现完整html

下面是我的代码

Document doc=Jsoup.connect("http://www.svbcgold.com/").get(); 
System.out.println("HTML.."+doc.html());

在此其只显示部分值而不是全部。在这个页面中，我们有一些像GOLD，SILVER这样的值，但是我不能在输出中看到它们，它的输出结果只显示在表格中。

请求你请在这帮助我。

来源

2016-09-28 Kartik

欢迎来到Stack Overflow！您的问题陈述并不完全清楚 - 请编辑您的问题，以更全面地描述您预期会发生什么以及与实际结果有何不同。看[问]提示什么是一个很好的解释。 –

这个问题是否完全解答？然后请选择最适合的答案或在评论中发布后续问题（请参阅http://stackoverflow.com/help/someone-answers） –

在您的开发工具打开的情况下在Chrome中打开此网站。您将看到，它已使异步请求在已经呈现页面后加载其他数据。

Jsoup只解析初始响应。它不适合JavaScript驱动的网站。您需要使用像htmlunit这样的可能与PhantomJS。

来源

2016-09-28 15:12:56

使用XMLHttpRequest该网站使用JavaScript请求当前价格。

调用在控制台（Chrome开发工具）下面的JavaScript代码复制背景请求：

var xhr = new XMLHttpRequest(); 
xhr.open('post', 'http://www.svbcgold.com/LPriceSvbc.asmx/getSVBCPriceN', true); 
xhr.setRequestHeader('Content-Type', "application/json"); 
xhr.send();

xhr.response然后保持JSON对象，包含所有所需的信息：

"{"d":"[{\"BranchId\":9999,\"BranchDisplayName\":\"INTERNATIONAL\",\"BrPurityProductId\":9997,\"ProductDisplayName\":\"Gold\",\"PurityDisplayName\":\" \",\"ProductType\":\"U\",\"IsProductWeight\":0,\"LPrice\":\"1323.10\",\"TxtColor\":\"Black\"},{\"BranchId\":9999,\"BranchDisplayName\":\"INTERNATIONAL\",\"BrPurityProductId\":9998,\"ProductDisplayName\":\"Silver\",\"PurityDisplayName\":\"\",\"ProductType\":\"U\",\"IsProductWeight\":0,\"LPrice\":\"19.16\",\"TxtColor\":\"Black\"},{\"BranchId\":9999,\"BranchDisplayName\":\"INTERNATIONAL\",\"BrPurityProductId\":9999,\"ProductDisplayName\":\"USD/INR\",\"PurityDisplayName\":\" \",\"ProductType\":\"U\",\"IsProductWeight\":0,\"LPrice\":\"66.41\",\"TxtColor\":\"Black\"},{\"BranchId\":1,\"BranchDisplayName\":\"VISAKHAPATNAM\",\"BrPurityProductId\":1,\"ProductDisplayName\":\"Spot Gold 100g\",\"PurityDisplayName\":\"999\",\"ProductType\":\"G\",\"IsProductWeight\":0,\"LPrice\":\"315040\",\"TxtColor\":\"Black\"},{\"BranchId\":2,\"BranchDisplayName\":\"VIJAYAWADA\",\"BrPurityProductId\":2,\"ProductDisplayName\":\"Spot Gold 100g\",\"PurityDisplayName\":\"999\",\"ProductType\":\"G\",\"IsProductWeight\":0,\"LPrice\":\"315040\",\"TxtColor\":\"Black\"},{\"BranchId\":3,\"BranchDisplayName\":\"HYDERABAD\",\"BrPurityProductId\":3,\"ProductDisplayName\":\"Spot Gold 100g\",\"PurityDisplayName\":\"999\",\"ProductType\":\"G\",\"IsProductWeight\":0,\"LPrice\":\"315040\",\"TxtColor\":\"Black\"},{\"BranchId\":1,\"BranchDisplayName\":\"VISAKHAPATNAM\",\"BrPurityProductId\":1,\"ProductDisplayName\":\"Spot Silver 1kg\",\"PurityDisplayName\":\"999\",\"ProductType\":\"S\",\"IsProductWeight\":0,\"LPrice\":\"N/A\",\"TxtColor\":\"Red\"},{\"BranchId\":2,\"BranchDisplayName\":\"VIJAYAWADA\",\"BrPurityProductId\":2,\"ProductDisplayName\":\"Spot Silver 1kg\",\"PurityDisplayName\":\"999\",\"ProductType\":\"S\",\"IsProductWeight\":0,\"LPrice\":\"N/A\",\"TxtColor\":\"Red\"},{\"BranchId\":3,\"BranchDisplayName\":\"HYDERABAD\",\"BrPurityProductId\":3,\"ProductDisplayName\":\"Spot Silver 1kg\",\"PurityDisplayName\":\"999\",\"ProductType\":\"S\",\"IsProductWeight\":0,\"LPrice\":\"N/A\",\"TxtColor\":\"Red\"}]"}"

在Java可以使用java.net.HttpURLConnection作为请求，而JSON解析器可以使用JSON.simple来解析响应。

例Java代码的

try { 
    String url = "http://www.svbcgold.com/LPriceSvbc.asmx/getSVBCPriceN"; 
    HttpURLConnection con = (HttpURLConnection) new URL(url).openConnection(); 

    con.setRequestMethod("POST"); 
    con.setRequestProperty("Content-Type", "application/json;charset=utf-8"); 
    con.setDoOutput(true); 

    con.connect(); 
    OutputStream os = new BufferedOutputStream(con.getOutputStream()); 
    os.flush(); 

    BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream())); 
    String response = in.readLine(); 
    in.close(); 

    // parse the response 
    JSONObject jsonObject = (JSONObject) new JSONParser().parse(response); 
    JSONArray jsonArray = (JSONArray) new JSONParser().parse((String)jsonObject.get("d")); 

    for (Object object : jsonArray) { 
     jsonObject = (JSONObject)object; 
     System.out.println(jsonObject.get("BranchDisplayName") + "\n\t" + jsonObject.get("ProductDisplayName") + " " + jsonObject.get("PurityDisplayName") + " " + jsonObject.get("LPrice")); 
    } 

} catch (IOException | ParseException e) { 
    e.printStackTrace(); 
}

输出

INTERNATIONAL 
    Gold 1323.10 
INTERNATIONAL 
    Silver 19.16 
INTERNATIONAL 
    USD/INR 66.41 
VISAKHAPATNAM 
    Spot Gold 100g 999 315040 
VIJAYAWADA 
    Spot Gold 100g 999 315040 
HYDERABAD 
    Spot Gold 100g 999 315040 
VISAKHAPATNAM 
    Spot Silver 1kg 999 N/A 
VIJAYAWADA 
    Spot Silver 1kg 999 N/A 
HYDERABAD 
    Spot Silver 1kg 999 N/A

来源

2016-09-28 19:59:25

我觉得Jsoup没有解析整个文档。这就是为什么你无法获得所有内容或失踪的原因。试试这个：

Document doc = Jsoup.connect("http://www.svbcgold.com/").header("Accept-Encoding", "gzip, deflate").userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0").maxBodySize(0).timeout(0).get(); 
System.out.println("HTML.."+doc.html());

希望你的问题能解决。

来源

2016-09-30 05:27:22 Abhishek

包含价格（'＃LPriceTbl'）的表格已生成并使用javascript插入，因此它在使用jsoup解析时没有（不支持javascript）。正如预期的那样，你的代码也缺少目标信息（表格中的价格）。 –

JSOUP不呈现完整html

回答

相关问题