从Web页面（Web爬虫）中提取所有链接

我想开发一个应用程序我给它的特定网站的URL，并从该网页中提取所有链接。在这里，我想给它的Url网页到我的应用程序，是由Asp.net开发的，包含一个搜索按钮，一个用于显示结果的GridView和一个DataPager，而GridView包含用于绑定到搜索结果的HyperLinkField控件。从Web页面（Web爬虫）中提取所有链接

当我单击目标页面的搜索按钮时，页面将被回发并通过GridView显示搜索结果而不更改页面的URL。

例如，如果搜索结果有500条记录，datapager.PageSize = 10，那么我们有50页。

现在我想知道是否有可能一次性提取绑定到Gridview的所有500个链接与我的应用程序，除了打开所有50页，并与我的应用程序一个接一个地提取任何页面？

谢谢。

来源

2012-02-28 Farna

检查这个话题：http://stackoverflow.com/questions/2248411/get-all-links -on-html- 看看问题的解决方案。 – deadfish 2012-02-28 20:14:03

你可以回发解析ASP.NET页面：

Parse a .Net Page with Postbacks
http://www.dreamincode.net/forums/topic/57101-website-scraping-and-postback/

来源

2012-02-28 20:08:39 Shahin

HTML Agility Pack是我发现的用于抓取网址的最佳工具。

您的问题更为广泛（您似乎在问如何编写整个应用程序）。我建议你首先阅读HTML敏捷包，尝试一些示例来从页面中获取链接，然后在遇到如何继续时遇到更具体的问题。

来源

2012-02-28 18:00:59

从Web页面（Web爬虫）中提取所有链接

回答

相关问题