wget

9热度

1回答

我试图使用wget递归地从特定网站抓取.jpg文件，以期为我自己创建一个有趣的屏幕保护程序。真的不是这样一个崇高的目标。问题是，图片托管在其他地方（mfrost.typepad.com），而不是网站的主域（www.cuteoverload.com）。我曾尝试使用“-D”来指定允许的域名，但可悲的是没有可爱的jpgs即将出现。我怎么能改变下面的线来完成这项工作？ wget -r -l2 -np

1热度

2回答

如何在Wget中为未完成的下载设置临时目录？

我试图在FTP服务器上镜像文件。这些文件可能非常大，因此下载可能会中断。我想保留原始文件，同时将部分文件下载到临时文件夹，并且一旦完成覆盖本地旧版本。我可以这样做吗？怎么样？是否有另一个易于使用（命令行）的工具，我可以使用？

0热度

7回答

通过ssh通过wget从bash文件下载超过100,000个文件有多可靠？

我有一个bash文件，其中包含wget命令以下载总计大约20GB数据的100,000个文件。 bash的文件看起来像： wget的http://something.com/path/to/file.data wget的http://something.com/path/to/file2.data wget的http://something.com/path/to/file3.data wget的h

421热度

12回答

使用wget递归获取一个包含任意文件的目录

我有一个Web目录，我在其中存储一些配置文件。我想使用wget来拉下这些文件并保持其当前结构。例如，远程目录如下所示： http://mysite.com/configs/.vim/ .vim保存多个文件和目录。我想用wget在客户端复制它。似乎无法找到正确的组合wget标志来完成这件事。有任何想法吗？

3热度

3回答

刮多框架网站

我正在审计我们现有的网络应用程序，这使得大量使用HTML frames。我想在每个框架中下载所有的HTML，有没有一种方法可以用wget或者一些脚本来做到这一点？

1热度

1回答

如何让Wget处理HTTP 100-继续响应？

我想发布一个HTML（包含在文件中）使用Wget这样的URL： wget -O- --debug --header=Content-Type:text/html --post-file=index.html http://localhost/www/encoder.ashx 到的HTML被发布的URL是用ASP实现的Web应用程序的终点。净。服务器回复100 (C

8热度

5回答

从wget解析http响应标头

我试图从wget的结果中提取一行，但遇到问题。这是我的wget电话： $ wget -SO- -T 1 -t 1 http://myurl.com:15000/myhtml.html 输出： --18:24:12-- http://xxx.xxxx.xxxx:15000/myhtml.html => `-' Resolving xxx.xxxx.xxxx... xxx.x

0热度

4回答

以编程方式登录论坛，然后屏幕截图

我想登录到社区服务器的论坛部分（例如http://forums.timesnapper.com/login.aspx?ReturnUrl=/forums/default.aspx），然后下载特定页面并执行正则表达式（查看是否有任何帖子在等待审核）。如果有，我想发一封电子邮件。我想从Linux服务器上执行此操作。当前我知道如何下载一个页面（例如使用wget），但登录时出现问题。任何明智的想法如何