【一、項目背景】

  百度貼吧是全球最大的中文交流平臺，你是否跟我一樣，有時候看到評論區(qū)的圖片想下載呢？或者看到一段視頻想進行下載呢？

  今天，小編帶大家通過搜索關(guān)鍵字來獲取評論區(qū)的圖片和視頻。

【二、項目目標】

  實現(xiàn)把貼吧獲取的圖片或視頻保存在一個文件。

【三、涉及的庫和網(wǎng)站】

1、網(wǎng)址如下：

https：／／tieba．baidu．com／f？ie＝utf－8＆kw＝吳京＆fr＝search

2、涉及的庫：requests、lxml、urrilb

【四、項目分析】

1、反爬措施的處理

 前期測試時發(fā)現(xiàn)，該網(wǎng)站反爬蟲處理措施很多，測試到有以下幾個：

  1） 直接使用requests庫，在不設置任何header的情況下，網(wǎng)站直接不返回數(shù)    據(jù)。

  2） 同一個ip連續(xù)訪問40多次，直接封掉ip，起初我的ip就是這樣被封掉的。

 為了解決這兩個問題，最后經(jīng)過研究，使用以下方法，可以有效解決。

 獲取正常的 http請求頭，并在requests請求時設置這些常規(guī)的http請求頭。

2、如何實現(xiàn)搜索關(guān)鍵字？

  通過網(wǎng)址我們可以發(fā)現(xiàn)只需要在kw＝（） ，括號中輸入你要搜索的內(nèi)容即可。這樣就可以用一個｛｝來替代它，后面我們在通過循環(huán)遍歷它。

【五、項目實施】

1、創(chuàng)建一個名為BaiduImageSpider的類，定義一個主方法main和初始化方法init。導入需要的庫。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider（object）：    def ＿＿init＿＿（self， tieba＿name）：        pass    def main（self）：        passif ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    inout＿word ＝ input（＂請輸入你要查詢的信息：＂）
   spider．main（）        passif ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    spider＝ ImageSpider（）    spider．main（）

2、準備url地址和請求頭headers 請求數(shù)據(jù)。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider（object）：    def ＿＿init＿＿（self， tieba＿name）：          self．tieba＿name ＝ tieba＿name ＃輸入的名字        self．url ＝ ＂http：／／tieba．baidu．com／f？kw＝｛｝＆ie＝utf－8＆pn＝0＂        self．headers ＝ ｛            ＇User－Agent＇： ＇Mozilla／4．0 （compatible； MSIE 8．0； Windows NT 6．1； WOW64； Trident／4．0； SLCC2； ．NET CLR 2．0．50727； ．NET CLR 3．5．30729； ．NET CLR 3．0．30729； Media Center PC 6．0； ．NET4．0C； InfoPath．3）＇        ｝
   ＇＇＇發(fā)送請求 獲取響應＇＇＇    def get＿parse＿page（self， url， xpath）：        html ＝ requests．get（url＝url， headers＝self．headers）．content．decode（＂utf－8＂）        parse＿html ＝ etree．HTML（html）        r＿list ＝ parse＿html．xpath（xpath）        return r＿list    def main（self）：        url ＝ self．url．format（self．tieba＿name）if ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    inout＿word ＝ input（＂請輸入你要查詢的信息：＂）    key＿word ＝ parse．quote（inout＿word）    spider ＝ BaiduImageSpider（key＿word）    spider．main（）