需要采集一批數(shù)據(jù)，是一網(wǎng)站上的產(chǎn)品信息，產(chǎn)品本身信息很簡(jiǎn)單，使用火車(chē)采集器輕松實(shí)現(xiàn)；但產(chǎn)品價(jià)格數(shù)據(jù)是ajax響應(yīng)數(shù)據(jù)，使用firebug + live http headers抓到該請(qǐng)求，并測(cè)試重發(fā)，發(fā)現(xiàn)該ajax請(qǐng)求必須帶一個(gè)http頭“X-Requested-With: XMLHttpRequest”，沒(méi)有就返回404錯(cuò)誤。

gnu/linux下有大量的殺手級(jí)工具，這種情況，要?jiǎng)佑闷渲械膚get. wget有很多參數(shù)，這里需要使用其中兩個(gè)：-O,--header. 其中:

-O, 把請(qǐng)求結(jié)果保存到指定文件，但我們要使用的卻是一個(gè)特殊的值：“-”，它可以將結(jié)果輸出到標(biāo)準(zhǔn)輸出

--header, 結(jié)http請(qǐng)求加上自定義的頭(http header)

于是對(duì)于每條產(chǎn)品數(shù)據(jù)，都發(fā)送這樣的請(qǐng)求：

wget --header="X-Requested-With: XMLHttpRequest" -O save_123.txt "http://www.website.com/request/path/?Id=123"

這樣每條產(chǎn)品都保存到save_123.txt,save_124.txt,save_125.txt....這樣的一系列文件中。不過(guò)有個(gè)問(wèn)題是，每條數(shù)據(jù)一個(gè)文件，后期分析不方便。所以將其存儲(chǔ)到單一的文件里。

方案：先將wget結(jié)果指向到標(biāo)準(zhǔn)輸出，然后再使用重定向符 >> 定向到單一的文件里。

不過(guò)，還有一個(gè)問(wèn)題，每個(gè)http響應(yīng)里沒(méi)有產(chǎn)品id號(hào)，數(shù)據(jù)跟采集到的產(chǎn)品信息對(duì)不上號(hào)。于是在每寫(xiě)一筆采集結(jié)果前，往文件里先寫(xiě)入該產(chǎn)品的id號(hào)。

這里使用echo 命令，要用到echo 的參數(shù)：-e, 作用是使用轉(zhuǎn)義符輸出換行。示例：echo -e "aaa\nbbb"

于是構(gòu)造這樣的bash腳本：

echo -e "\n"10011"\t"  >>data.log ;wget --header="X-Requested-With: XMLHttpRequest" -O- "http://www.website.com/request/path/?Id=10011" >>data.log; 

echo -e "\n"10012"\t"  >>data.log ;wget --header="X-Requested-With: XMLHttpRequest" -O- "http://www.website.com/request/path/?Id=10012" >>data.log; 

echo -e "\n"10013"\t"  >>data.log ;wget --header="X-Requested-With: XMLHttpRequest" -O- "http://www.website.com/request/path/?Id=10013" >>data.log; sheep 1;

echo -e "\n"10014"\t"  >>data.log ;wget --header="X-Requested-With: XMLHttpRequest" -O- "http://www.website.com/request/path/?Id=10014" >>data.log; 

echo -e "\n"10015"\t"  >>data.log ;wget --header="X-Requested-With: XMLHttpRequest" -O- "http://www.website.com/request/path/?Id=10015" >>data.log; 

echo -e "\n"10016"\t"  >>data.log ;wget --header="X-Requested-With: XMLHttpRequest" -O- "http://www.website.com/request/path/?Id=10016" >>data.log; sheep 1;

第三行加一個(gè)sheep 1, 即每采三條暫停1秒鐘，作用是防止請(qǐng)求過(guò)于密集而影響服務(wù)器響應(yīng)，暫停秒數(shù)按實(shí)際情況設(shè)置。

所有數(shù)據(jù)都保存到data.log文件里。

其實(shí)，對(duì)于而需要提取的數(shù)據(jù)，完全可以通過(guò)grep從定向到標(biāo)準(zhǔn)輸出的wget結(jié)果里提取。只是這里不么做了。