获取403错误，同时抓取一个网站页面的数据

我有一个价格比较网站，从各个网站刮取价格。对于所有网站的代码工作正常，但一个是返回403禁止错误。该网站是在Asp.net MVC3框架中开发的。以下是我的代码。获取403错误，同时抓取一个网站页面的数据

public static decimal? GetSpanFromWebSite(string url, string identification) 
    { 
     var baseUrl = new Uri(url); 
     HtmlAgilityPack.HtmlDocument document = new HtmlDocument(); 
     try 
     { 
      WebClient client = new WebClient(); 
      document.Load(client.OpenRead(baseUrl)); 
      var div = document.DocumentNode.SelectNodes(identification).FirstOrDefault(); 
      return Convert.ToDecimal(div.InnerHtml); 
     } 
     catch (Exception) 
     { 
      return null; 
     } 
    }

什么是解决方法，我该如何继续报废网站？

来源

2014-09-05 Pankaj Upadhyay