观察HTTP请求并在代码中模拟相同的请求

Question

有没有办法在浏览器中观察http请求并保存该请求（标题数据和参数）并在代码中模拟相同的请求？

我想要的是在我的项目中“模拟”浏览器，以获得相同的响应，就像用户使用普通浏览器一样。

我不知道如何正确地提出问题，但我想要的是在某些网站上模拟验证，并在浏览器中查找相同的数据。

Answer 1

我想要的是使用简单的http请求来抓取网站，该网站使用认证进行安全保护，并在我的代码中构建请求头。它不仅是发送带有名称+密码的POST请求，还有一些其他隐藏参数，这些参数在用户访问网站时首先生成 - 在客户端使用javascript。 也许有可能了解生成这些隐藏参数后面的算法，但由于其复杂性可能需要很长时间。

以自动方式抓取网站而不关心正确头文件的最佳方法是使用“无头”浏览器，这是没有其他功能的浏览器，而没有GUI的普通浏览器。你可以在你的代码中控制它。这些无头浏览器的列表可以在here找到。

因此不需要观察和记录请求并在代码中模拟它 - 只需使用无头浏览器即可。