2017-07-25 106 views
0

我试图使用npm模块请求获取以下url https://extranet.ores.be/de/services/price-simulation的正文。事情是,对于这个链接,我认为模块不能正常工作。因为它连续失败,出现maxRedirects达到的错误。我已经想到了,认为是的,因为第一次调用这个url是一个响应,并且这个地址标头对同一个url做了响应,它做了一个infite循环。想的是,重定向似乎不是Firefox或Chrome的问题,...浏览器正确解决它。我错过了什么吗?或者可能是代理问题?当http获得分块响应时,卡在无限重定向循环中

这里是我的代码部分:

var proxiedRequest = request.defaults({proxy: "http://proxy.xxx.xxxxxxx.be:XXXX", maxRedirects : 5}) 
    proxiedRequest.get(that.buildRequest(url.url), (error, response, body) => { 
     let html = null; 
     let status = null; 
     let failed = false; 

     if (!error && response.statusCode === 200 && (response.headers['content-type'].includes('text/html') || response.headers['content-type'].includes('application/xhtml+xml'))){ 
      html = body; 
     } else if(!error && response.statusCode != 200) { 
      status = response.statusCode; 
      failed = true; 
     }else if(error) { 
      failed = true; 
     } 

     that.emit('getFinished', { html : html, status : status, error : error, failed : failed, url : url }); 
    }) 

的buildRequest梅索德:

this.buildRequest = function(url){ 
     return { 
      url: url.href, 
      headers: { 
       'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0', 
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 
       'Connection' : 'keep-alive', 
       'Accept-Encoding': this.selectAcceptEncodingHeader(url.protocol) 
      }, 
      gzip: true, 
      deflate: true 
     } 
    }.bind(this); 
this.selectAcceptEncodingHeader = function(protocol){ 
     if(protocol === 'https:'){ 
      return 'gzip, deflate, br'; 

     } 

     return 'gzip, deflate'; 
    }.bind(this); 

我试图用多但它的请求,并没有回应。

任何想法?感谢提前

回答

0

浏览器正确处理给定的URL,因为cookie默认情况下启用,不像来自节点的模块请求。

尝试此为您代理请求:

var proxiedRequest = request.defaults({ 
    proxy: "http://proxy.xxx.xxxxxxx.be:XXXX", 
    maxRedirects : 5, 
    jar: true // enable cookie 
}); 
+0

是的,就是这样。谢谢 :-) –