wget

命令格式

wget[options][URL]

文件參數(shù)

這類參數(shù)定義軟件log文件的輸出方式等。

-o,--output-file=FILE將軟件輸出信息保存到文件；

-a,--append-output=FILE將軟件輸出信息追加到文件；

-d,--debug顯示輸出信息；

-q,--quiet不顯示輸出信息；

-i,--input-file=FILE從文件中取得URL；

例1：下載首頁并且顯示下載信息

wget-d

例2：下載首頁并且不顯示任何信息

wget-q

例3：下載filelist.txt中所包含的鏈接的所有文件

wget-ifilelist.txt

wget-np-m-l5不下載本站所鏈接的其它站點內(nèi)容，5級目錄結(jié)構(gòu)

啟動參數(shù)

這一類參數(shù)主要提供軟件的一些基本信息。

-V,--version顯示軟件版本號然后退出；

-h,--help顯示軟件幫助信息；

-e,--execute=COMMAND執(zhí)行一個“.wgetrc”命令

以上每一個功能有長短兩個參數(shù)，長短功能一樣，都可以使用。需要注意的是，這里的-e參數(shù)是執(zhí)行一個.wgettrc的命令，.wgettrc命令其實是一個參數(shù)列表，直接將軟件需要的參數(shù)寫在一起就可以了。

下載參數(shù)

下載參數(shù)定義下載重復(fù)次數(shù)、保存文件名等。

-t,--tries=NUMBER是否下載次數(shù)（0表示無窮次）

-O--output-document=FILE指定下載目錄和文件名

-nc,--no-clobber不要覆蓋已經(jīng)存在的文件

-N,--timestamping只下載比本地新的文件

-T,--timeout=SECONDS設(shè)置超時時間

-Y,--proxy=on/off關(guān)閉代理

例：下載的首頁并將下載過程中的的輸入信息保存到test.htm文件中

wget-Otest.html

目錄參數(shù)

目錄參數(shù)主要設(shè)置下載文件保存目錄與原來文件（服務(wù)器文件）的目錄對應(yīng)關(guān)系；

-nd--no-directories不建立目錄

-x,--force-directories強制建立目錄

可能我們對這里的目錄還不是很了解，我們來看一個舉例

例：下載的首頁，并且保持網(wǎng)站結(jié)構(gòu)

wget-x

HTTP參數(shù)

HTTP參數(shù)設(shè)置一些與HTTP下載有關(guān)的屬性。

--http-user=USER設(shè)置HTTP用戶

--http-passwd=PASS設(shè)置HTTP密碼

--proxy-user=USER設(shè)置代理用戶

--proxy-passwd=PASS設(shè)置代理密碼

以上參數(shù)主要設(shè)置HTTP和代理的用戶、密碼；

遞歸參數(shù)設(shè)置

在下載一個網(wǎng)站或者網(wǎng)站的一個目錄的時候，我們需要知道的下載的層次，這些參數(shù)就可以設(shè)置。

-r,--recursive下載整個網(wǎng)站、目錄（小心使用）

-l,--level=NUMBER下載層次

例：下載整個網(wǎng)站

wget-r

拒絕選項參數(shù)

下載一個網(wǎng)站的時候，為了盡量快，有些文件可以選擇下載，比如圖片和聲音，在這里可以設(shè)置。

-A,--accept=LIST可以接受的文件類型

-R,--reject=LIST拒絕接受的文件類型

-D,--domains=LIST可以接受的域名,用逗號分隔

--exclude-domains=LIST拒絕的域名,用逗號分隔

-L,--relative下載關(guān)聯(lián)鏈接

--follow-ftp只下載FTP鏈接

-H,--span-hosts可以下載外面的主機

-I,--include-directories=LIST允許的目錄

-X,--exclude-directories=LIST拒絕的目錄

服務(wù)器

wget可以使用用戶設(shè)置文件".wgetrc"來讀取很多設(shè)置，我們這里主要利用這個文件來是設(shè)置代理服務(wù)器。使用者用什么用戶登錄，那么什么用戶主目錄下的".wgetrc"文件就起作用。例如，"root"用戶如果想使用".wgetrc"來設(shè)置代理服務(wù)器，"/root/.wgetrc"就起作用，下面給出一個".wgetrc"文件的內(nèi)容，讀者可以參照這個例子來編寫自己的"wgetrc"文件：

http-proxy=111.111.111.111:8080

ftp-proxy=111.111.111.111:8080

這兩行的含義是，代理服務(wù)器IP地址為：111.111.111.111，端口號為：8080。第一行指定HTTP協(xié)議所使用的代理服務(wù)器，第二行指定FTP協(xié)議所使用的代理服務(wù)器。

代碼總表

啟動

-V,--version顯示wget的版本后退出

-h,--help打印語法幫助

-b,--background啟動后轉(zhuǎn)入后臺執(zhí)行

-e,--execute=COMMAND執(zhí)行`.wgetrc'格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc

wget默認(rèn)會根據(jù)網(wǎng)站的robots.txt進行操作

使用-erobots=off參數(shù)即可繞過該限制

記錄和輸入文件

-o,--output-file=FILE把記錄寫到FILE文件中

-a,--append-output=FILE把記錄追加到FILE文件中

-d,--debug打印調(diào)試輸出

-q,--quiet安靜模式(沒有輸出)

-v,--verbose冗長模式(這是缺省設(shè)置)

-nv,--non-verbose關(guān)掉冗長模式，但不是安靜模式

-i,--input-file=FILE下載在FILE文件中出現(xiàn)的URLs

-F,--force-html把輸入文件當(dāng)作HTML格式文件對待

-B,--base=URL將URL作為在-F-i參數(shù)指定的文件中出現(xiàn)的相對鏈接的前綴

--sslcertfile=FILE可選客戶端證書

--sslcertkey=KEYFILE可選客戶端證書的KEYFILE

--egd-file=FILE指定EGDsocket的文件名

下載

--bind-address=ADDRESS指定本地使用地址(主機名或IP，當(dāng)本地有多個IP或名字時使用)

-t,--tries=NUMBER設(shè)定最大嘗試鏈接次數(shù)(0表示無限制).

-O--output-document=FILE把文檔寫到FILE文件中

-nc,--no-clobber不要覆蓋存在的文件或使用.#前綴

-c,--continue接著下載沒下載完的文件

--progress=TYPE設(shè)定進程條標(biāo)記

-N,--timestamping不要重新下載文件除非比本地文件新

-S,--server-response打印服務(wù)器的回應(yīng)

--spider不下載任何東西

-T,--timeout=SECONDS設(shè)定響應(yīng)超時的秒數(shù)

-w,--wait=SECONDS兩次嘗試之間間隔SECONDS秒

--waitretry=SECONDS在重新鏈接之間等待1...SECONDS秒

--random-wait在下載之間等待0...2*WAIT秒

-Y,--proxy=on/off打開或關(guān)閉代理

-Q,--quota=NUMBER設(shè)置下載的容量限制

--limit-rate=RATE限定下載輸率

目錄

-nd--no-directories不創(chuàng)建目錄

-x,--force-directories強制創(chuàng)建目錄

-nH,--no-host-directories不創(chuàng)建主機目錄

-P,--directory-prefix=PREFIX將文件保存到目錄PREFIX/...

--cut-dirs=NUMBER忽略NUMBER層遠程目錄

HTTP 選項

--http-user=USER設(shè)定HTTP用戶名為USER.

--http-passwd=PASS設(shè)定http密碼為PASS.

-C,--cache=on/off允許/不允許服務(wù)器端的數(shù)據(jù)緩存(一般情況下允許).

-E,--html-extension將所有text/html文檔以.html擴展名保存

--ignore-length忽略`Content-Length'頭域

--header=STRING在headers中插入字符串STRING

--proxy-user=USER設(shè)定代理的用戶名為USER

--proxy-passwd=PASS設(shè)定代理的密碼為PASS

--referer=URL在HTTP請求中包含`Referer:URL'頭

-s,--save-headers保存HTTP頭到文件

-U,--user-agent=AGENT設(shè)定代理的名稱為AGENT而不是Wget/VERSION.

--no-http-keep-alive關(guān)閉HTTP活動鏈接(永遠鏈接).

--cookies=off不使用cookies.

--load-cookies=FILE在開始會話前從文件FILE中加載cookie

--save-cookies=FILE在會話結(jié)束后將cookies保存到FILE文件中

FTP 選項

-nr,--dont-remove-listing不移走`.listing'文件

-g,--glob=on/off打開或關(guān)閉文件名的globbing機制

--passive-ftp使用被動傳輸模式(缺省值).

--active-ftp使用主動傳輸模式

--retr-symlinks在遞歸的時候，將鏈接指向文件(而不是目錄)

遞歸下載

-r,--recursive遞歸下載－－慎用!

-l,--level=NUMBER最大遞歸深度(inf或0代表無窮).

--delete-after在完畢后局部刪除文件

-k,--convert-links轉(zhuǎn)換非相對鏈接為相對鏈接

-K,--backup-converted在轉(zhuǎn)換文件X之前，將之備份為X.orig

-m,--mirror等價于-r-N-linf-nr.

-p,--page-requisites下載顯示HTML文件的所有圖片