登录到网页的脚本

Question

我想编写一个脚本来登录网页并与网页交互，并且有点不知所措。我大概可以找出HTML解析，但我如何处理登录部分？我打算使用bash，因为这是我最了解的，但我愿意接受任何其他建议。我只是寻找一些参考资料或链接来帮助我开始。我不确定密码是存储在cookie中还是存储在cookie中，那么我如何评估这种情况呢？

感谢，

丹

Answer 1

看看一个cURL，这是在Linux/Unix环境一般可用，它可以让你的脚本的网页呼叫，包括POST参数（比如一用户名和密码），并允许您管理cookie存储，以便随后的调用（在网站中获取不同页面）可以使用同一个cookie（因此您的登录将在呼叫中保持不变）。

Answer 2

搜索此网站为screen scraping。它会变得毛茸茸的，因为你需要处理cookie，javascript和隐藏字段（viewstate！）。通常您需要刮取登录页面以获取隐藏字段，然后发布到登录页面。好玩：d

Answer 3

我不喜欢的东西，在工作前一段时间，我曾在一个页面登录并一遍又一遍地张贴同样的数据...

看看here。我用wget是因为我没有使用curl工作。