如何从同一个头部网址抓取每个网页？

Question

我要抓取来自同一头网址

前每个页面：“http://www.htc.com/tw/XXXXXXX” Hanv什么办法呢？

谢谢。

Answer 1

这是行不通的，因为大多数Web服务器都禁用了目录列表。 无法抓取每个页面。但是，您可以抓取主页面上链接的每个子页面。例如，您可以创建一个在该网站上找到的所有链接的数组，并过滤​​具有相同域名的链接。但是这不会找到没有链接到任何地方的目录。