3
我想采取有关特定网站的响应数据。 我有这个网站: https://enjoy.eni.com/it/milano/map/ ,如果我打开浏览器debuger控制台我可以看到,给一个JSON响应posr要求:Python scaping响应数据
如何在python我可以通过刮网站这个响应? 感谢
我想采取有关特定网站的响应数据。 我有这个网站: https://enjoy.eni.com/it/milano/map/ ,如果我打开浏览器debuger控制台我可以看到,给一个JSON响应posr要求:Python scaping响应数据
如何在python我可以通过刮网站这个响应? 感谢
显然,Web服务有PHPSESSID
验证,所以我们需要先得到它使用正确的用户代理:
import requests
import json
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36'
}
r = requests.get('https://enjoy.eni.com/it/milano/map/', headers=headers)
session_id = r.cookies['PHPSESSID']
headers['Cookie'] = 'PHPSESSID={};'.format(session_id)
res = requests.post('https://enjoy.eni.com/ajax/retrieve_vehicles', headers=headers, allow_redirects=False)
json_obj = json.loads(res.content)
Yohanes嗨。是的,我只是尝试使用我的浏览器的PHPSESSID并运行。但我也试着通过CookieLib来检索这个值,但是如果我通过请求响应这个网站的html而不是json – APPGIS
@APPGIS的话,那么在检索这个值之后就可以了。我已经更新了我的答案。显然我们只需要在第一个请求中添加'User-Agent'以获取正确的Cookie –
似乎有效......感谢Yohanes – APPGIS