爬虫系列之【数据解析之JSON】《三》

目录

前置知识

一、 json.loads()：JSON 转 Python 数据

二、json.dump()：python数据 转 json 并写入文件

 三、json.loads() ：json 转 python数据

四、json.load() ：json 转 python数据（在文件操作中更方便）

五、实战案例

完整代码演示

---

前置知识

1，不涉及文件操作
json 字符串 => 转换成 => python 数据类型 ：json.loads()
python 数据类型 => 转换成 => json 字符串 ：json.dumps()2，涉及文件操作
包含 json 的类文件对象 => 转换成 => python 数据类型 ：json.load()
python 数据类型 => 转换成 => 包含 json 的类文件对象 ：json.dump()# 总结：不加 s 涉及到文件操作

---

json用于数据交换

JS（前端） -> json -> python（后端）
python(后端) -> json -> JS(前端)

---

一、 json.loads()：JSON 转 Python 数据

import json
# 1,python数据类型 转 json字符串
# python 字典数据
dic = {'a':1,'b':2}
print(type(dic))  #打印类型：字典类型
# 2,python数据 转成 json数据
json1 = json.dumps(dic)
# 3,打印结果
print(type(json1))   #结果是str,就是json字符串
# 4,增加键值
dic[('2',1)] = '元组'   #错误，不能这样添加
dic["c"]='元组'         # 正确
# 5,json数据key不能是元组，skipkeys=True可以过滤异常数据，ensure_ascii=False可以解决编码问题
json2 = json.dumps(dic,skipkeys=True,ensure_ascii=False)print(json2)
print(type(json2))

---

二、json.dump()：python数据 转 json 并写入文件

import json
# 1,python字典数据
dic = {'a':1,'b':2}
with open('text.json','w',encoding='utf-8') as f:# 参数1：要转成json格式并保存的数据# 参数2：文件指针json.dump(dic,f,skipkeys=True,ensure_ascii=False)

---

 三、json.loads() ：json 转 python数据

import json
# text.json中是刚才存储的 json 数据
with open('text.json','r',encoding='utf-8') as f:data = f.read()print(data)print(type(data))  #json字符串# 转换dic = json.loads(data) # python字典print(type(dic))

---

四、json.load() ：json 转 python数据（在文件操作中更方便）

import json
# text.json中是刚才存储的 json 数据
with open('text.json','r',encoding='utf-8') as f:# 转换dic = json.load(f) #python字典print(f"字典数据：{dic}\n类型：{type(dic)}")

---

五、实战案例

需求：爬取腾讯招聘信息的《标题》《城市》《日期》

链接：搜索 | 腾讯招聘

分析步骤：

1，找到目标url

目标URL：https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1740842427771&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=1&keyword=&pageIndex=1&pageSize=10&language=zh-cn&area=cn

2，分析响应数据

可以进一步验证：

将数据全选复制进入 在线代码格式化 验证是否为 json 格式

3，分析一下数据内容

我们需要的数据层级关系，转换成字典后：
Data > Posts > 列表n > RecruitPostName(标题) LocationName(城市) LastUpdateTime(日期)

特别注意：Posts是一个列表 

---

完整代码演示

import json
import requests# 1,目标url
url = 'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1740842427771&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=1&keyword=&pageIndex=1&pageSize=10&language=zh-cn&area=cn'
# 2,身份伪装
header={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36"
}
# 3,发起请求获取响应
response = requests.get(url=url,headers=header)
# 4,打印响应内容
# print(response.text)
print(type(response.text))  #json字符串类型# 5,将json字符串转换成python数据
result = json.loads(response.text)
print(type(result))  # 字典类型# 6,提取需要的信息：标题+城市+日期
title = result['Data']['Posts']
for tit in title:# print(tit)print(f"{tit['RecruitPostName']} ,{tit['LocationName']} ,{tit['LastUpdateTime']}")# 字符串替换：result = str.replace(r'\n','')

---

拓展

实现多页爬取分析步骤

1.分别获取到第一页、第二页、第三页的 url 对比

# 第一页
https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1740904582702&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=1&keyword=&pageIndex=1&pageSize=10&language=zh-cn&area=cn
# 第二页
https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1740904630357&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=1&keyword=&pageIndex=2&pageSize=10&language=zh-cn&area=cn
# 第三页
https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1740904538329&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=1&keyword=&pageIndex=3&pageSize=10&language=zh-cn&area=cn

# 特别提醒：测试可以直接将上面的url放入导航栏查看响应数据，还有可以删掉一些参数查看对响应数据有没有影响
对比之后发现只有两个地方不同
1, pageIndex 页数
2, timestamp 时间戳

测试后发现，时间戳固定对爬取数据没有任何影响，因此多页爬取只需要变化 pageIndex 的值即可

# 伪代码：
for i in range(1,11):url = f"https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1740904630357&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=1&keyword=&pageIndex={i}&pageSize=10&language=zh-cn&area=cn"# 这样就可以得到十页的url了，剩下的爬取工作是一样的print(url)