背景介紹

我們知道再爬蟲(chóng)的過(guò)程中我們對(duì)于爬取到的網(wǎng)頁(yè)數(shù)據(jù)需要進(jìn)行解析，因?yàn)榇蠖鄶?shù)數(shù)據(jù)是不需要的，所以我們需要進(jìn)行數(shù)據(jù)解析，常用的數(shù)據(jù)解析方式有正則表達(dá)式，xpath，bs4，這次我們來(lái)介紹一下另一個(gè)數(shù)據(jù)解析庫(kù)－－jsonpath，在此之前我們需要先了解一下什么是json。

一、初識(shí)Json

JSON（JavaScript Object Notation） 是一種輕量級(jí)的數(shù)據(jù)交換格式，它使得人們很容易的進(jìn)行閱讀和編寫(xiě)。同時(shí)也方便了機(jī)器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場(chǎng)景，比如網(wǎng)站前臺(tái)與后臺(tái)之間的數(shù)據(jù)交互。

Python 2．7及之后版本，自帶了JSON模塊，直接import json就可以使用了。

二、Json的基本使用

簡(jiǎn)介

json簡(jiǎn)單說(shuō)就是javascript中的對(duì)象和數(shù)組，所以這兩種結(jié)構(gòu)就是對(duì)象和數(shù)組兩種結(jié)構(gòu)，通過(guò)這兩種結(jié)構(gòu)可以表示各種復(fù)雜的結(jié)構(gòu)；

對(duì)象：對(duì)象在js中表示為｛ ｝括起來(lái)的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為 ｛ key：value， key：value， ．．． ｝的鍵值對(duì)的結(jié)構(gòu)，在面向?qū)ο蟮恼Z(yǔ)言中，key為對(duì)象的屬性，value為對(duì)應(yīng)的屬性值，所以很容易理解，取值方法為 對(duì)象．key 獲取屬性值，這個(gè)屬性值的類(lèi)型可以是數(shù)字、字符串、數(shù)組、對(duì)象這幾種。

數(shù)組：數(shù)組在js中是中括號(hào)［ ］括起來(lái)的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為 ［＂Python＂， ＂javascript＂， ＂C＋＋＂， ．．．］，取值方式和所有語(yǔ)言中一樣，使用索引獲取，字段值的類(lèi)型可以是 數(shù)字、字符串、數(shù)組、對(duì)象幾種。

使用

json模塊提供了四個(gè)功能：dumps、dump、loads、load，用于字符串 和 python數(shù)據(jù)類(lèi)型間進(jìn)行轉(zhuǎn)換。

把Json格式字符串解碼轉(zhuǎn)換成Python對(duì)象 從json到python的類(lèi)型轉(zhuǎn)化對(duì)照如下：

1．json．loads（）

import json

strDict ＝ ＇｛＂city＂： ＂廣州＂， ＂name＂： ＂小黑＂｝＇

r ＝ json．loads（strDict） ＃ json數(shù)據(jù)自動(dòng)按Unicode存儲(chǔ)

rint（r）

結(jié)果如下：

｛＇city＇： ＇廣州＇， ＇name＇： ＇小黑＇｝

2． json．load（）

讀取文件中json形式的字符串元素 轉(zhuǎn)化成python類(lèi)型

import json

s ＝ json．load（open（＇test．json＇，＇r＇，encoding＝＇utf－8＇））

print（s，type（s））

結(jié)果如下：

｛＇city＇： ＇廣州＇， ＇name＇： ＇小黑＇｝ ＜class ＇dict＇＞

3． json．dumps（）

實(shí)現(xiàn)python類(lèi)型轉(zhuǎn)化為json字符串，返回一個(gè)str對(duì)象 把一個(gè)Python對(duì)象編碼轉(zhuǎn)換成Json字符串

import json

listStr ＝ ［1， 2， 3， 4］

dictStr ＝ ｛＂city＂： ＂北京＂， ＂name＂： ＂大貓＂｝

s1 ＝ json．dumps（listStr）

s2 ＝ json．dumps（dictStr，ensure＿ascii＝False）

print（s1，type（s1））

print（s2）

結(jié)果如下：

［1， 2， 3， 4］ ＜class ＇str＇＞｛＂city＂： ＂北京＂， ＂name＂： ＂大貓＂｝ ＜class ＇str＇＞

注意：

json．dumps（） 序列化時(shí)默認(rèn)使用的ascii編碼

添加參數(shù) ensure＿ascii＝False 禁用ascii編碼，按utf－8編碼

4． json．dump（）

將Python內(nèi)置類(lèi)型序列化為json對(duì)象后寫(xiě)入文件

import json

json＿info ＝ ＂｛＇age＇： ＇12＇｝＂

file ＝ open（＇ceshi．json＇，＇w＇，encoding＝＇utf－8＇）

json．dump（json＿info，file）

結(jié)果如下：

ceshii，json（目錄文件產(chǎn)生）

三、JsonPath

JsonPath 是一種信息抽取類(lèi)庫(kù)，是從JSON文檔中抽取指定信息的工具，提供多種語(yǔ)言實(shí)現(xiàn)版本，包括：Javascript， Python， PHP 和 Java。

JsonPath 對(duì)于 JSON 來(lái)說(shuō)，相當(dāng)于 XPATH 對(duì)于 XML。

安裝方法：點(diǎn)擊Download URL鏈接下載jsonpath，解壓之后執(zhí)行python setup．py install

JsonPath與XPath語(yǔ)法對(duì)比

Json結(jié)構(gòu)清晰，可讀性高，復(fù)雜度低，非常容易匹配，下表中對(duì)應(yīng)了XPath的用法。

四、案例測(cè)試

我們爬取淘票票官網(wǎng)的城市信息，保存為json文件，進(jìn)行jsonpath語(yǔ)法測(cè)試，獲取所有城市名稱。

請(qǐng)求

import requests

import time

url ＝ ＇https：／／dianying．taobao．com／cityAction．json？activityId＆＿ksTS＝1632211792156＿137＆jsoncallback＝j(luò)sonp138＆action＝cityAction＆n＿s＝new＆event＿submit＿doGetAllRegion＝true＇

headers ＝ ｛    

    ＇user－agent＇： ＇Mozilla／5．0 （Windows NT 10．0； Win64； x64） AppleWebKit／537．36 （KHTML， like Gecko） Chrome／91．0．4472．106 Safari／537．36＇，

｝

res ＝ requests．get（url，headers＝headers）

result ＝ res．content．decode（＇utf－8＇）

print（result） ＃ xxx省略

注意：

headers里面的鍵值對(duì)最好都加上，還是有反爬的，該網(wǎng)站，這里為了簡(jiǎn)便省去了；

保存數(shù)據(jù)

content ＝ result．split（＇（＇）［1］．split（＇）＇）［0］ ＃ 由于文件首尾的字符不需要需要剔除掉做字符串切割

with open（＇tpp．json＇，＇w＇，encoding＝＇utf－8＇）as fp：    

fp．write（content）

打開(kāi)json文件如下所示：

解析數(shù)據(jù)

這里我們獲取全部城市名稱

import json

import jsonpath

obj ＝ json．load（open（＇tpp．json＇，＇r＇，encoding＝＇utf－8＇）） ＃ 注意，這里是文件的形式，不能直接放一個(gè)文件名的字符串

city＿list ＝ jsonpath．jsonpath（obj，＇＄．．regionName＇） ＃ 文件對(duì)象   jsonpath語(yǔ)法

print（city＿list）

結(jié)果如下：

五、總結(jié)

我們知道json是一種常見(jiàn)的數(shù)據(jù)傳輸形式，所以對(duì)于爬取數(shù)據(jù)的數(shù)據(jù)解析，json的相關(guān)操作是比較重要的，能夠加快我們的數(shù)據(jù)提取效率，本文簡(jiǎn)單介紹了json和jsonpath的相關(guān)操作，對(duì)于測(cè)試網(wǎng)站（淘票票）的json做了簡(jiǎn)單的數(shù)據(jù)解析，感興趣的小伙伴可以把其他數(shù)據(jù)解析一下。