使用C＃测试网站

Question

民间，

我需要完成一些复杂的网页抓取。

简单的目标是：登录到页面，在某些文本字段中输入一些值，单击提交，然后从检索到的页面中提取一些值。

什么是最好的方法？

1. 部分单元测试第三方库？
2. 在C＃中手动抓取？
3. 也许有专门的准备好lib吧？
4. 还有其他的方法吗？

这需要在一个web应用程序内完成。

非常感谢您的帮助。

Answer 1

不知道它将如何在Web应用程序内工作，但你有没有考虑给HtmlUnit一个尝试？我认为它应该很好，因为它基本上是一个无头网页浏览器。

史蒂文桑德森有一个blog post about using HtmlUnit in .NET code。

Answer 2

WatiN。

http://watin.sourceforge.net/

var browser = new IE(); 

browser.GoTo("http://www.mywebsite.com"); 

browser.TextField("username").TypeText("username goes here"); // alternatively, use .Value = if you don't need to simulate keystrokes. 

browser.Button(Find.ById("submitButton")).Click(); 

，并在你的断言返回页面：

Assert.AreEqual("You are logged in as Username.", ie.TextField("username").Value); // you can essentially check any HTML tag, I just used TextField for brevity. 

编辑 -

读取编辑从一个Web浏览器中执行此操作后，您可能会考虑使用WebRequest和HTML Agility Pack来验证您返回的内容：

的WebRequest：

http://msdn.microsoft.com/en-us/library/debx8sh9.aspx

HTML敏捷性包：

How to use HTML Agility pack

Answer 3

如果你知道什么表单提交值都应该是进入和出来，你可以创建一个应用程序C＃使用HttpWebRequest并发布到页面并解析结果。这段代码是高度专业化的，供我自己使用，但你应该能够调整它，并使它做你想做的事情。它实际上是一个更大的类的一部分，可以让你添加post/get项目，然后为你提交一个http请求。

// this is for the query string 
char[] temp = new char[1]; 
temp[0] = '?'; 

// create the query string for post/get types 
Uri uri = _type == PostType.Post ? new Uri(url) : new Uri((url + "?" + postData).TrimEnd(temp)); 

// create the request 
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); 

request.Accept = _accept; 
request.ContentType = _contentType; 
request.Method = _type == PostType.Post ? "POST" : "GET"; 
request.CookieContainer = _cookieContainer; 
request.Referer = _referer; 
request.AllowAutoRedirect = _allowRedirect; 
request.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3"; 

// set the timeout to a big value like 2 minutes 
request.Timeout = 120000; 

// set our credentials 
request.Credentials = CredentialCache.DefaultCredentials; 

// if we have a proxy set its creds as well 
if(request.Proxy != null) 
{ 
    request.Proxy.Credentials = CredentialCache.DefaultCredentials; 
} 


// append post items if we need to 
if(!String.IsNullOrEmpty(_body)) 
{ 
    using(StreamWriter sw = new StreamWriter(request.GetRequestStream(), Encoding.ASCII)) 
    { 
    sw.Write(_body); 
    } 
} 

if(_type == PostType.Post && 
    String.IsNullOrEmpty(_body)) 
{ 
    using(Stream writeStream = request.GetRequestStream()) 
    { 
     UTF8Encoding encoding = new UTF8Encoding(); 
     byte[] bytes = encoding.GetBytes(postData); 

     writeStream.Write(bytes, 0, bytes.Length); 
    } 
} 

if(_headers.Count > 0) 
{ 
    request.Headers.Add(_headers); 
}//end if 

// we want to keep this open for a bit 
using(HttpWebResponse response = (HttpWebResponse)request.GetResponse()) 
{ 
    // TODO: do something with the response 
}//end using 

Answer 4

我要说硒，但如果你打算这样做，内部我可能会做一些这样的NUnit写的测试，然后从web应用程序运行它们。

http://www.nunit.org/

在web-app但内心为什么？这就像在车内对汽车进行碰撞测试。

Answer 5

如果您正在寻找更轻量级的产品，请尝试使用SimpleBrowser for .Net--在Github上开源。

https://github.com/axefrog/SimpleBrowser

Answer 6

惊讶HTMLAgilityPack没有提到。这是迄今为止最简单的使用。

Crawling Websites with C# and Xpath