如何使用screamingfrog抓取内部网？

Question

我正在尝试抓取url.prod.companyname.com.au（内部网站）上可用的内部网站点。

只是想知道这是否有可能使用任何网络爬虫？

Answer 1

如果您在位于您公司网关的路由器（或者如果终端和客户端位于其中的子网内）中设置DNS记录以将特定域指向内部IP，那么这绝对是可行的。

这是一个带有DD-WRT的example。