用于卷曲请求的浏览器标头

Question

我们有一个任务来过滤来自机器人的真实卷曲请求。我向该网站发送了一个curl请求，但是它向我返回了一个无效的图像文件（我知道，因为当我用我的浏览器查看它时，它工作）。它以某种方式知道我的请求不是真实的。我在这里忽略了一个字段，我试图完全模仿浏览器请求。

$header_arr = array(
      '0' =>'Host: www.myittest.com', 
      '1' =>'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0', 
      '2' =>'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*\/*;q=0.8', 
      '3' =>'Accept-Language: en-US,en;q=0.5', 
      '4' =>'Accept-Encoding: gzip, deflate', 
      '5' =>'Connection: keep-alive', 
     ); 





    $ch = curl_init($url);   

    curl_setopt($ch, CURLOPT_HTTPHEADER, $header_arr); 
    curl_setopt($ch, CURLOPT_TIMEOUT, 30); 
    curl_setopt($ch, CURLOPT_BINARYTRANSFER, TRUE); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  
    curl_setopt($ch, CURLOPT_MAXREDIRS, 6); 



    $raw=curl_exec($ch); 

Answer 1

您已经请求gzip/deflate编码，但没有使curl知道它，所以它不解码图像。添加此应该可以修复它：

curl_setopt($ch, CURLOPT_ENCODING, '');