c＃asp.net中的JavaScript执行后刮一个网页

Question

我需要刮所有链接的网页，所以我可以稍后访问它们来查找和记录cookie的设置。这是为了新的英国法案，要求用户由被设置的cookie组成，我决定尝试使这一过程自动化以节省一些时间。

我的问题是，我的公司网站使用大量的javascript来呈现网页和内容，这意味着当我检索页面时（使用html敏捷包时）他们主要包含大量的javascript和缺少很多显示完全呈现的链接。我主持这个作为一个域名的ASP应用程序，并通过网址刮擦和访问网站页面上的所有链接。

有没有一种方法，我可以优先的JavaScript，所以页面呈现，我可以得到所有的链接？

Answer 1

您可以制作带有Web浏览器控件的Windows窗体。您可以设置URL并在页面加载时设置回调事件。它会呈现页面，包括javascript，然后你可以访问DOM（我认为通过WebBrowser.Document）。

Answer 2

我不明白你的问题。当它是你的公司网站时，你不需要刮页面。你已经有了代码。只要看看你的代码库，看看是否创建了cookie以及内部存储了什么。