HttpWebRequest和HttpWebResponse错误

我试图运行一个简单的代码，用于编写此page网页爬虫。
每一件事情是好的，我尝试了几个网站的程序，它工作正常，但有一个网站，而不是返回在其网页中的HTML内容会生成一个srtange错误：
HttpWebRequest和HttpWebResponse错误

DotNetNuke Error: - Version 04.05.01 Return to main page

和返回的HTML是：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> 
<html lang="en-US"> 
<head> 
    <title id="Title">Error</title> 
    <link id="StyleSheet" href="/Install/Install.css" type="text/css" rel="stylesheet"></link> 
</head> 
<body> 
    <form name="Form" method="post" action="ErrorPage.aspx?tabid=186&amp;error=Object+reference+not+set+to+an+instance+of+an+object.&amp;content=0&amp;language=ar-SY" id="Form"> 
<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="/wEPDwUJNTkzNjY2ODU2D2QWBAIDDxYCHgRocmVmBRQvSW5zdGFsbC9JbnN0YWxsLmNzc2QCBQ9kFgICAg8PFgIeBFRleHQFRDxpbWcgc3JjPSIvaW1hZ2VzL2x0LmdpZiIgYm9yZGVyPSIwIiAvPiDYsdis2YjYuSDYp9mE2Ykg2KfZhNmF2YjZgti5ZGRk2aDp+vZbUIDHSd3beGBaLQrJ6yk=" /> 

     <table cellspacing="5" cellpadding="5" border="0" class="Error"> 
      <tr> 
       <td><img id="Image1" src="logo.gif" alt="DotNetNuke" border="0" /></td> 
      </tr> 
      <tr style="height:100%;"> 
       <td valign="top" style="width:650px;"> 
        <h2>DotNetNuke Error: - Version 04.05.01</h2> 
        <hr /> 
        <p> 
<table border="0" cellspacing="0" cellpadding="4"> 
    <tr> 
     <td valign="top" align="left"><img id="ctl00_imgIcon" src="images/red-error.gif" border="0" /></td> 
     <td valign="middle" align="left"><span id="ctl00_lblHeading" class="NormalRed">an error has been occurred<br/></span><span id="ctl00_lblMessage" class="Normal">return to the site.</span></td> 
    </tr> 
</table> 
<hr noshade size="1"/></p> 
       </td> 
      </tr> 
      <tr> 
       <td align="right"><a id="hypReturn" class="WizardButton" href="Default.aspx"><img src="/images/lt.gif" border="0" /> return to the site</a></td> 
      </tr> 
      <tr><td height="10px"></td></tr> 
     </table> 
    </form> 
</body> 
</html>

究竟什么是DotNetNuke的错误和问题是什么...在一个阿拉伯网站BTW发生的错误，我试图在另一个阿拉伯网站，没有任何错误。

来源

2010-09-28 fadi

不限人体这里！？ – fadi 2010-09-28 13:03:44

我已通过添加用户代理物业解决了这个问题：

hrqURL.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";

来源

2010-09-29 08:10:46 fadi

您的抓取程序似乎生成了导致DotNetNuke崩溃的请求。您可能正在请求一个不存在的页面或传递导致DotNetNuke崩溃的请求参数。

只要将此结果视为失败的请求。

来源

2010-09-28 14:38:19

非常感谢！我发现网站的缓存版本包含与crowlere返回的结果相同的结果：http://www.rankiva.com/cache/www.syriatel.sy/我可以覆盖此缓存版本并使用HttpWebRequest来抓取原始网站？看起来好像是要进入缓存的版本！ – fadi 2010-09-29 08:00:30

非常感谢，我解决了这个问题 – fadi 2010-09-29 08:09:02

HttpWebRequest和HttpWebResponse错误

回答

相关问题