python无头浏览器获取html响应

我试图做一个自动化的系统，执行多个搜索并下载结果。我需要首先获取网站的身份验证，直接到搜索页面，设置搜索参数，使html req包含通过post发送的一些值，以html的形式获取响应以解析下载和下载的内容。你能帮助我，并将我重新导向一些样本以了解如何做这样的事情吗？什么是最好的软件包使用？python无头浏览器获取html响应

最佳

来源

2017-07-26 ida

当我需要解析一堆HTML对信息的关键部分，我很幸运地被使用Python，我总是达到BeautifulSoup第一。

https://www.crummy.com/software/BeautifulSoup/

来源

2017-07-26 15:15:42 mattbornski

我们应该如何处理使用beautifulsoup进行身份验证？ – ida

我使用beautifulsoup *仅解析*。我通常使用类似于http://docs.python-requests.org/en/master/的东西来进行实际的HTTP协商和传输。 – mattbornski

python无头浏览器获取html响应

回答

相关问题