如何从使用Java的网站中提取受登录保护的数据？

Question

我一直在使用Java从一个网站提取一些值。但是，我现在需要从另一个网站提取一些值，但本网站要求您登录才能看到该页面。我有一个用于登录的用户名和密码，但是我在使用HTTPclient或HTMLUnit在Java上使用自动登录方面没有成功。

有没有什么办法可以解决这个问题并从登录保护页面提取数据？

Answer 1

1. 在您的代码中，模拟用户登录。通常，这意味着在适当的表单参数中使用用户名和密码值登录到登录URL。要从HTTP角度看这看起来像什么，使用一个工具来显示请求的内容（wireshark，浏览器插件）。

2. 捕获从登录页面的POST返回的cookie。可能有一个或多个会话cookie--即识别您与服务器会话的cookie。

3. 将这些cookie包含在对该站点的后续请求中。这些请求不应该被认为是来自经过身份验证的用户。