我发现卷曲的饼干罐有问题的,所以我写了我自己的程序。还有一些时候我需要添加从页面中删除的cookies。
对于此CURLOPT_HEADER
必须为真。
curl_setopt($ch, CURLOPT_HEADER, true);
$data = curl_exec($ch);
$skip = intval(curl_getinfo($ch, CURLINFO_HEADER_SIZE));
$requestHeader= substr($data,0,$skip);
$data = substr($data,$skip);
$e = 0;
while(true){
$s = strpos($requestHeader,'Set-Cookie: ',$e);
if (!$s){break;}
$s += 12;
$e = strpos($requestHeader,';',$s);
$cookie = substr($requestHeader,$s,$e-$s) ;
$s = strpos($cookie,'=');
$key = substr($cookie,0,$s);
$value = substr($cookie,$s);
$cookies[$key] = $value;
}
然后使用$饼干[]:
$cookie = '';
$show = '';
$delim = '';
foreach ($cookies as $k => $v){
$cookie .= "$delim$k$v";
$delim = '; ';
}
然后使用$饼干:
curl_setopt($ch, CURLOPT_COOKIE, $cookie);
遇到麻烦时,我经常设置FOLLOWLOCATION
为false:
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
如果存在重定向,您可以看到发生了什么,并且需要获取在重定向URL的响应头中设置的Cookie,则FOLLOWLOCATION
必须设置为false。
当curl URL将您带到重定向curl_getinfo
时,将获得重定向位置URL。
$status = intval(curl_getinfo($ch,CURLINFO_HTTP_CODE));
if ($status > 299 && $status < 400){
$url= curl_getinfo($ch,CURLINFO_REDIRECT_URL);
}
// update cookies, do not clear `cookies()`;
当遇到困难我使用这些选项可以同时获得响应和响应头。响应标题将返回curl_exec()
数据。请求头将是curl_getinfo()
curl_setopt($ch, CURLOPT_VERBOSE, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, $request);
curl_setopt($ch, CURLINFO_HEADER_OUT, true);
curl_setopt($ch, CURLOPT_HEADER, true);
$data = curl_exec($ch);
if (curl_errno($ch)){
$data .= 'Retreive Base Page Error: ' . curl_error($ch);
}
else {
$info = rawurldecode(var_export(curl_getinfo($ch),true));
$data = curl_exec($ch);
$skip = intval(curl_getinfo($ch, CURLINFO_HEADER_SIZE));
$requestHeader= substr($data,0,$skip);
$data = substr($data,$skip);
$filename = parse_url($url, PHP_URL_HOST);
$filename .= parse_url($url, PHP_URL_PATH) . '.txt';
$fp = fopen($filename,'w');
fwrite($fp,$info\n$data");
fclose($fp);
$data = substr($data,$skip);
}
两个头和HTML被存储在文件中的回报。然后,您可以查看HTTP头,HTML和JavaScript。有时cookie由document.cookie设置,或者用window.location重定向页面,或者用JS单击HTML表单的提交按钮。在这些情况下,可能需要刮取cookie和/或从curl数据重定向位置。
然后我使用FireFox Inspector或Chrome开发工具。
我去网络选项卡
在Firefox中,我去设定,并开启“启用持久性日志”
在Chrome中我点击“保存日志”在网络选项卡
然后我使用浏览器去任何我想要去卷曲的地方。
现在我可以看到每个请求和响应,包括重定向并将它们与保存标题进行比较。
当你需要的头看起来就像保存浏览器标题:
创建一个数组把请求头键值
填写申请阵列,使正是在请求上传的标题。
例:
$request = array();
$request[] = "Host: www.example.com";
$request[] = "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
$request[] = "User-Agent: MOT-V9mm/00.62 UP.Browser/6.2.3.4.c.1.123 (GUI) MMP/2.0";
$request[] = "Accept-Language: en-US,en;q=0.5";
$request[] = "Connection: keep-alive";
$request[] = "Cache-Control: no-cache";
$request[] = "Pragma: no-cache";
添加卷曲:
curl_setopt($ch, CURLOPT_HTTPHEADER, $request);
很多时候,它是非常容易使用的移动版本。许多时候桌面版本页面都需要JavaScript,而手机版本则不需要。我使用FireFox和用户代理切换器,使用旧的Motorola用户代理来检索标题和HTML。然后,我使用相同的用户代理卷曲的HTTPHEADER
:
request[] = 'User-Agent: MOT-V9mm/00.62 UP.Browser/6.2.3.4.c.1.123 (GUI) MMP/2.0
发布“cookie.txt”中的内容 – Machavity
只需将SESSID放在Cookie中并不意味着您已经登录。它仅表示服务器可以将您识别为来自SESSID的客户端。你也必须登录。 –
嗨,在文件中有这样的信息:#Netscape HTTP Cookie文件 #http://curl.haxx.se/rfc/cookie_spec.html #此文件是由libcurl!编辑需要您自担风险。 site.com \t \t FALSE/\t \t FALSE 1429265797 \t ZBW_SESSID –