在访问网页时获取所有URL列表

Question

有没有webservice的任何工具在访问网页时在Excel中列出url？

例如，如果我去任何包含1-2-3-4页的网站 - 下一页现在，如果我点击任何页面，那么该特定页面的URL将被列出或在表格中。

我想从网站上抓取一些数据，所以我需要URL列表。

Answer 1

你可以使用Firefox中的selenium IDE插件来记录你所需要的动作。自动代码将根据您的选择生成（java/perl/python/php）。您可以保存代码并修改获取URL的代码并按需要继续。这是你的问题的答案..我个人不会推荐你使用这种方法

Answer 2

你可以用Site Visualizer做到这一点。创建新项目，点击开始按钮来抓取网站。其所有页面将列在Pages表中（位于主窗口的顶部）。点击进入一个网页，以获取其所有链接在链接上市表（在窗口底部）：