尚硅谷爬虫note009

一、jsonpath

1.安装

        pip install jsonpath

2.使用

        只能解析本地文件

.json文件

{"store": {"book": [{"category": "reference","author": "Nigel Rees","title": "Sayings of the Century","price": 8.95},{"category": "fiction","author": "Evelyn Waugh","title": "Sword of Honour","price": 12.99},{"category": "fiction","author": "Herman Melville","title": "Moby Dick","isbn": "0-553-21311-3","price": 8.99},{"category": "fiction","author": "J. R. R. Tolkien","title": "The Lord of the Rings","isbn": "0-395-19395-8","price": 22.99}],"bicycle": {"color": "red","price": 19.95}},"expensive": 10
}

.py文件

# _*_ coding : utf-8 _*_
# @Time : 2025/2/19 12:34
# @Author : 20250206-里奥
# @File : demo09_jsonpath_淘票票
# @Project : PythonPro17-21#导入
import json
import jsonpath#到文件
obj = json.load(open('test.json','r',encoding = 'utf-8'))
print(obj)#书店所有书的作者
author_list = jsonpath.jsonpath(obj,'$.store.book[*].author')
print(author_list)#所有的作者
author_list1 = jsonpath.jsonpath(obj,'$..author')
print(author_list1)#store下的所有元素
tag_list = jsonpath.jsonpath(obj,'$.store.*')
print(tag_list)# store里面所有东西的价格
price_list = jsonpath.jsonpath(obj,'$.store..price')
print(price_list)#第3本书
book_third = jsonpath.jsonpath(obj,'$..book[2]')
print(book_third)# 最后一本书
book_last = jsonpath.jsonpath(obj,'$..book[(@.length - 1)]')
print(book_last)# 前2本书
book_firstAndSecond = jsonpath.jsonpath(obj,'$..book[0,1]')
print(book_firstAndSecond)
print("\n")
book_firstAndSecondNew = jsonpath.jsonpath(obj,"$..book[:2]")
print(book_firstAndSecondNew)# 过滤出所有包含isbn的书
# 条件过滤： 需要在（）前加？
book_list3 = jsonpath.jsonpath(obj,"$..book[?(@.isbn)]")
print(book_list3)
#超过十块钱的书
book_list4 = jsonpath.jsonpath(obj,"$..book[?(@.price > 10)]")
print(book_list4)# CTRL + alt + L ————》排版生成的.json文件

xpath和jsonpath对比：

jsonpath解析淘票票-城市地址

# _*_ coding : utf-8 _*_
# @Time : 2025/2/19 13:26
# @Author : 20250206-里奥
# @File : demo08_jsonpath_解析淘票票
# @Project : PythonPro17-21import urllib.requesturl = 'https://dianying.taobao.com/cityAction.json?activityId&_ksTS=1739942948773_108&jsoncallback=jsonp109&action=cityAction&n_s=new&event_submit_doGetAllRegion=true'headers = {#请求头中，以“：”符号开头的注释掉。
# ':authority':'dianying.taobao.com',
# ':method':'GET',
# ':path':'/cityAction.json?activityId&_ksTS=1739942948773_108&jsoncallback=jsonp109&action=cityAction&n_s=new&event_submit_doGetAllRegion=true',
# ':scheme':'https',
'accept':'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
#默认不支持utf-8的编码格式。   'gzip, deflate, br, zstd'
# 'accept-encoding':'gzip, deflate, br, zstd',
'accept-language':'zh-CN,zh;q=0.9',
'bx-v':'2.5.28',
'cookie':'t=3f22f9c912700c231e2e9e22079d2cec; cookie2=19434e4c86fbda6d54c07ee336bc2027; v=0; _tb_token_=763b7139648b9; cna=CVo8IB2qjWwCAW8CsA6MaAcB; xlly_s=1; isg=BFdXeyfL_BuZhHiX9b7tGjF05suhnCv-ej4MFKmE9SaN2HYasWwNT3T2OnhGMAN2',
'priority':'u=1, i',
'referer':'https://dianying.taobao.com/',
'sec-ch-ua':'"Not(A:Brand";v="99", "Google Chrome";v="133", "Chromium";v="133"',
'sec-ch-ua-mobile':'?0',
'sec-ch-ua-platform':'"Windows"',
'sec-fetch-dest':'empty',
'sec-fetch-mode':'cors',
'sec-fetch-site':'same-origin',
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36',
'x-requested-with':'XMLHttpRequest',
}#请求对象定制
request = urllib.request.Request(url = url,headers=headers)#模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)#返回响应内容
content = response.read().decode('utf-8')# 解决jsonpath.用split切割
#[1]表示取第2个元素——》被切割的左边第一个位置的元素没了
#[0]表示取第1个元素————》被切割的右边元素没了
#split( '(' )、split( ')' )分别表示：切割“（”符号左边的数据，和切割“）”符号右边的数据
content = content.split('(')[1].split(')')[0]#打印
print(content)with open('淘票票.json','w',encoding='utf-8') as fp:fp.write(content)# 只要生成文件里的"regionName": "阿拉尔"...，其余的不要
import json
import jsonpath# 加载文件
obj = json.load(open('淘票票.json','r',encoding='utf-8'))city_list = jsonpath.jsonpath(obj,'$..regionName')
print(city_list)#在线
#json.cn--->json在线解析---》赋值打印的运行结果--->
# 粘贴到json在线解析---》删除“jsonxx（” 以及结束的 “）...”   原因：他们不是json字符串中的内容
# ---》

二、BeautifulSopu

        简称bs4

功能

        解析和提取数据

 缺点：

        没有lxml效率高

优点：

        接口人性化，使用方便

1. 安装

        pip install bs4

2. 使用

        解析本地文件

        解析服务器响应文件

.HTML文件

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>Title</title>
</head>
<body>
<div><ul><li id="l1">zs</li><li id="l2">ls</li><li>ww</li><a href="" id="" class="a1">25219</a><span>hhhaa</span></ul></div><ul><li>吃</li><li>喝</li><l>睡</l></ul><a href="" title="a2">百度</a><div id="d1"><span>hhhee</span></div><p id="p1" class="p1">wawww</p>
</body>
</html>

.py文件

# _*_ coding : utf-8 _*_
# @Time : 2025/2/19 16:05
# @Author : 20250206-里奥
# @File : demo10_bs4的基本使用
# @Project : PythonPro17-21#导入
from bs4 import BeautifulSoup# 通过解析本地文件学习bs4的基础语法
# 加载本地文件
# 默认打开的文件，的编码格式是gbk，需要指定编码格式
soup = BeautifulSoup(open('bs4的基本使用.html',encoding='utf-8'),'lxml')
print(soup)#根据标签名查找节点
#找到的是第一个符合条件的数据
print(soup.a)
#获取标签的属性和属性值
print(soup.a.attrs)#bs4的一些函数
#1）find()
#2）find_all()
#3）select()# find()
# 返回第一个符号条件的数据
print(soup.find('a'))
# 根据title的值找到对应的标签对象
print(soup.find('a',title = "a2"))
# 根据class的值找到对应的标签对象
#class是关键字，不能使用。可以加个_————》class_，表示既能代表class，又不是class
print(soup.find('a',class_ = 'a1'))#find_all（）
# 返回所有a标签组成的列表
print(soup.find_all('a'))
#如果想获取多个标签数据，那么在find_all的参数中需要添加列表数据
print(soup.find_all(['a','span']))
#获取所有li标签
print(soup.find_all('li'))
# 获取部分li标签.limit的作用：查找前几个li标签
print(soup.find_all('li',limit=2))#select【推荐】，5个用法
#通过标签获取节点对象，返回的是多个数据的一个列表
print(soup.select('a'))
#类选择器。可以通过”.“符号代表class
print(soup.select('.a1'))
#id.
print(soup.select('#l1'))
# 属性选择器,获取具有id属性的li标签
print(soup.select('li[id]'))
# 查找id为l2的li标签
print(soup.select('li[id = "l2"]'))
# 层级选择器[3个：1：空格；2.大于号>；3.逗号，]#后代选择器。获取div标签下的li标签    [空格]
print(soup.select('div li'))
#子代选择器  [大于号> ]
# 很多计算机编程语言中，如果不加空格————》不会输出内容，但是在bs4中会显示内容，不会报错
print(soup.select('div > ul > li'))
# 组合。   【逗号，】
# 找到a标签和li标签所有对象
print(soup.select('a,li'))# 4）节点信息
#获取节点内容.    select返回值是一个列表，可以通过下标获取列表中内容
obj = soup.select('#d1')[0]
# 如果标签对象中只有内容，string和get_text（）都可以使用
#如果标签对象中不仅有内容，还有标签。那么string获取不到内容，get_text（）能获取内容
#推荐使用get_text（）
print(obj.string)
print(obj.get_text())#节点属性
#select返回值是一个列表，没有name属性。通过下标访问
obj = soup.select('#p1')[0]
# name是标签名
print(obj.name)
#将属性值作为一个字典返回
print(obj.attrs)# 获取节点属性
obj = soup.select('#p1')[0]
# 以下3种获取方式
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])