HttpWebRequest错误403

Question

我是C＃中的新成员，并且需要从C＃中检索URL。大多数情况下它工作正常，但在一种情况下，它会抛出一个错误。 URL是如下 http://whois.afrinic.net/cgi-bin/whois?searchtext=41.132.178.138

错误是：禁止（403）：

异常在对URL的HTTP请求：http://whois.afrinic.net/cgi-bin/whois?searchtext=41.132.178.138远程服务器返回一个错误。

我的代码

void MyFUnction(string url) 
{ 
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); 

    request.UserAgent = ".NET Framework Test Client"; 
    request.ContentType = "application/x-www-form-urlencoded"; 
    Logger.WriteMyLog("application/x-www-form-urlencoded"); 


    // execute the request 
    HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
    // we will read data via the response stream 
    Stream resStream = response.GetResponseStream(); 

    string tempString = null; 
    int count = 0; 
    do 
    { 
     // fill the buffer with data 
     count = resStream.Read(buf, 0, buf.Length); 

     // make sure we read some data 
     if (count != 0) 
     { 
      // translate from bytes to ASCII text 
      tempString = Encoding.ASCII.GetString(buf, 0, count); 
      if (httpData == null) 
       httpData = tempString; 
      else 
       httpData += tempString; 

     } 
    } 
    while (count > 0); // any more data to read? 
} 

Answer 1

删除您的ContentType线。

request.ContentType.... 

你不是在做表单文章，只用“GET”检索页面。

request.Method = "GET"; //this is the default behavior 

并且还将Accept属性设置为“text/html”。

request.Accept = "text/html"; 

Answer 2

设置

request.Accept = "text/html";

以及它会工作。

我不知道他们为什么配置这种方式，可能是故意阻止一些机器人。您可能想要检查他们的服务条款，无论您是否可以自动查询他们的网站。

---

编辑补充：仍然相信我的答案在这种情况下是正确的，我可以重现403，每次如果我不设置Accept头。 ContentType是多余的，但不是有害的。
在任何情况下，你还需要修改你的函数妥善处置的响应，并读取与正确的字符编码响应：

void MyFunction(string url) 
{ 
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); 
    request.UserAgent = ".NET Framework Test Client"; 
    request.Accept = "text/html"; 
    Logger.WriteMyLog("application/x-www-form-urlencoded"); 

    // execute the request 
    using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) 
    { 
     // we will read data via the response stream 
     Stream resStream = response.GetResponseStream(); 
     StreamReader streamReader = new StreamReader(
             resStream, 
             Encoding.GetEncoding(response.CharacterSet) 
            ); 
     httpData = streamReader.ReadToEnd(); 
    } 
}