|
一、JsonPath
JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。也就是独立的可以配合多种语言进行匹配的目标值的一种类库，和jmeter中的jsonPath匹配方式很像(具体参考此文章：https://www.cnblogs.com/Zhan-W/p/10985816.html )。优点之一： 数据可以通过交互方式从客户端上的JSON结构提取，不需要特殊的脚本。
二、JsonPath特性
只能提取json格式的数据提取后的数据类型与原数据类型一致
三、 JsonPath安装
pip install jsonpath -i https://pypi.doubanio.com/simple
四、 JsonPath 语法元素
官方文档：JSONPath - XPath for JSON
过滤表达式
五、 JsonPath 使用
import requests
import json
import jsonpath
if __name__ == '__main__':
# 1.确认目标url
url_ = 'https://www.lagou.com/lbs/getAllCitySearchLabels.json'
# 用户代理的代理
headers_ = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}
# 2.发送网络请求，获取响应对象
response_ = requests.get(url_, headers=headers_)
#获取python格式，自动类型转换
py_data=response_.json() # json()这是一个方法
print(type(py_data),py_data)
# $：根元素
#（1）获取所有城市名称
names=jsonpath.jsonpath(py_data,'$..name')
print(len(names),names)
# .or []：子元素
#（2）获取所有城市中按字母分类的第一个城市的所有信息
res=jsonpath.jsonpath(py_data,"$..allCitySearchLabels.*[:1]")
print(len(res),res)
# [, ]：支持迭代器中做多选，多个key用逗号隔开
#（3）获取A字母的城市名和父城市id
res=jsonpath.jsonpath(py_data,"$..A.[name,parentId]")
print(len(res),res)
#（4）获取B字母的城市下的第0个和第16个城市信息
res=jsonpath.jsonpath(py_data,"$..B[0,16]")
print(len(res),res)
# [start：end：step]：数组分割操作，等同于切片, 遵循左闭右开原则
#（5）获取B字母的城市下的前2个城市信息
res=jsonpath.jsonpath(py_data,"$..B[:2]")
print(len(res),res)
# ?()：应用过滤表示式
#（6）获取B字母的城市下的id编号大于850的信息
res=jsonpath.jsonpath(py_data,"$..B.[?(@.id>850)]")
print(len(res),res)
# == ：等于
# （7）查询城市是福州的城市信息
res = jsonpath.jsonpath(py_data, "$..*[?(@.name=='福州')]")
print(len(res), res)
# in ：所属符号
# （8）查询城市是杭州，北京，天津的城市信息
res = jsonpath.jsonpath(py_data, "$..*[?(@.name in ['杭州','北京','天津'])]")
print(len(res), res)
# （8）查询城市是杭州，北京，天津的code信息
res = jsonpath.jsonpath(py_data, "$..*[?(@.name in ['杭州','北京','天津'])].code")
print(len(res), res)
# not in ：排除符号
# （9）查询城市不是杭州，北京，天津的城市信息
res = jsonpath.jsonpath(py_data, "$..*[?(@.name not in ['杭州','北京','天津'])]")
print(len(res), res)
# &&：逻辑AND，用于合并多个过滤器表达式
# （10）查询城市是杭州,并且ID是653的城市信息
res = jsonpath.jsonpath(py_data, "$..*[?(@.name =='杭州' && @.id==653)]")
print(len(res), res)
# || 逻辑OR，用于组合多个过滤器表达式
# （11）查询城市是杭州, 或者ID大于1000的城市信息
res = jsonpath.jsonpath(py_data, "$..*[?(@.name =='杭州' || @.id>1000)]")
print(len(res), res)
|