怎样使用wget

2018年4月7日 | 分类: 【技术】

wget 是一个命令行的下载工具。

【安装】

yum -y install wget

参考:https://blog.csdn.net/keda8997110/article/details/8735735

【批量】

批量下载多个文件:

参考:https://tang.pleasev.com/2010/02/23/%E6%80%8E%E4%B9%88%E7%94%A8wget%E4%B8%8B%E8%BD%BD%E5%A4%9A%E4%B8%AA%E6%96%87%E4%BB%B6%EF%BC%9F/

1. 建立下载文件的url列表,每个一行,例如 urls.txt

2. 执行命令:

wget -b -i urls.txt -c --no-check-certificate

其中:
-b 后台执行Wget;
-i inputfiles 从文本文件内读取地址列表;
-c 断点下传;

for x in `cat urlist`
do
wget bc $x
done
批量下载:

如果有多个文件需要下载,那么可以生成一个文件,把每个文件的URL写一行,例如生成文件download.txt,然后用命令:wget -i download.txt
这样就会把download.txt里面列出的每个URL都下载下来。(如果列的是文件就下载文件,如果列的是网站,那么下载首页

批量下载一个网站上目录中的所有文件:

wget -nd -r -l1 --no-parent http://www.foo.com/mp3/

但这条命令有时会下载像 index.@xx 这样一些额外文件,可以用下面的命令来指定文件格式:

wget -nd -r -l1 --no-parent -A.mp3 -A.wma http://www.foo.com/mp3/

命令中指定选项的作用:

-nd :不创建目录, wget默认会创建一个目录
-r :递归下载
-l1 :(L one) 递归一层,只下载指定文件夹中的内容, 不下载下一级目录中的.
–no-parent :不下载父目录中的文件

下载 http://example.com 网站上 packages 目录中的所有文件:-np 的作用是不遍历父目录,-nd表示不在本机重新创建目录结构。

wget -r -np -nd http://example.com/packages/

与上一条命令相似,但多加了一个 –accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

wget -r -np -nd --accept=iso http://example.com/centos-5/i386/

把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了:

wget -i filename.txt

指定的 -c 选项的作用为断点续传:

wget -c http://example.com/really-big-file.iso

用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项:

wget -m -k (-H) http://www.example.com/

使用代理下载:

参考:https://tang.pleasev.com/2010/02/23/%E6%80%8E%E4%B9%88%E7%94%A8wget%E4%B8%8B%E8%BD%BD%E5%A4%9A%E4%B8%AA%E6%96%87%E4%BB%B6%EF%BC%9F/

【排错】

报错:ERROR: The certificate of ‘example.com’ is not trusted.

临时解决:

运行wget等命令时在后面加上:–no-check-certificate

完全解决:

yum install ca-certificates

【在Win10中开启wget】

参考:http://www.cnblogs.com/wxdblog/p/8359642.html
参考:https://jingyan.baidu.com/article/8cdccae941c720315413cd3e.html

下载:http://www.gnu.org/software/wget/

解压后运行exe文件安装,默认路径。

添加路径到系统路径path