抓取动态内容

Question

我正在一个网络抓取项目。做任何机构都有想要抓取动态内容的想法。

基于查询字符串的动态内容类似于静态内容，但基于同一页面内某个控件的某个事件的动态内容是我卡住的点。因为在这种情况下，网页网址保持不变。

我正在使用C＃。

在此先感谢

Answer 1

您的问题是相当笼统的。

我不确定您的控件事件是什么意思，但只要浏览器生成http请求，您就可以使用工具（如Firefox的Firebug）或Google Chrome中内置的工具来捕获它，并查看实际发送的内容到服务器。所谓的AJAX请求不是标准的http请求，只是网页并未作为整体重新加载。

基于该信息和页面源，可以找出如何创建可模拟用户与页面上动态元素交互的请求范围。