【学习笔记】Py网络爬虫学习记录（更新中）

目录

一、入门实践——爬取百度网页

二、网络基础知识

1、两种渲染方式

2、HTTP解析 

三、Request入门

1、get方式 - 百度搜索/豆瓣电影排行

2、post方式 - 百度翻译

四、数据解析提取三种方式

1、re正则表达式解析

（1）常用元字符

（2）常用量词

（3）贪婪匹配和惰性匹配

（4）re模块

（5）re实战1：自定义爬取豆瓣排行榜 

（6）re实战2：爬取电影天堂

---

一、入门实践——爬取百度网页

from urllib.request import urlopenurl = "http://www.baidu.com"
resp = urlopen(url)with open("mybaidu.html", mode="w",encoding="utf-8") as f:# 使用with语句打开(或创建)一个名为"mybaidu.html"的文件# 打开模式为写入("w")，编码为UTF - 8("utf-8")# 文件对象被赋值给变量f# with语句确保文件在代码块结束后会自动关闭f.write(resp.read().decode("utf-8"))

这段代码的功能是从百度首页获取HTML内容，并将其保存到本地文件"mybaidu.html"中

爬取结果 ↓（被禁了哈哈）

二、网络基础知识

1、两种渲染方式

服务器渲染：

• 在服务器就直接把数据和html整合在一起，统一返回给浏览器在页面源代码中能看到数据

客户端渲染：

• 第一次请求只要一个html骨架
• 第二次请求拿到数据，进行数据展示在页面源代码中，看不到数据

2、HTTP解析 

请求头中最常见重要内容（爬虫需要）

• User-Agent身份标识：请求载体的身份标识(用啥发送的请求)
• Referer防盗链：(这次请求是从哪个页面来的?反爬会用到)
• cookie：本地字符串数据信息(用户登录信息，反爬的token)

响应头中一些重要的内容

• cookie：本地字符串数据信息(用户登录信息,反爬的token)
• 各种莫名其妙的字符串(这个需要经验了,一般都是token字样,防止各种攻击和反爬) 

三、Request入门

1、get方式 - 百度搜索/豆瓣电影排行

import requests
query = input("请输入想查询的内容！")
url = f"https://www.baidu.com/s?wd={query}"resp = requests.get(url)dic = {
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 SLBrowser/9.0.6.2081 SLBChan/103 SLBVPV/64-bit"
}resp = requests.get(url=url, headers=dic) #伪装成浏览器
print(resp.text)
resp.close()

爬了一下百度，成功啦！ 

import requestsurl = f"https://movie.douban.com/j/chart/top_list"parm= {"type": 25,"interval_id": "100:90","action":"","start": 0,"limit": 20,
}dic={
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 SLBrowser/9.0.6.2081 SLBChan/103 SLBVPV/64-bit"
}resp = requests.get(url=url,params=parm,headers=dic)
print(resp.json())
resp.close()

 

2、post方式 - 百度翻译

发送post请求，发送的数据必须放在字典里，通过data参数进行传递

import requests
s = input("请输入想查询的内容！")
url = f"https://fanyi.baidu.com/sug"dat = {"kw":s
}
resp = requests.get(url)#发送post请求，发送的数据必须放在字典里，通过data参数进行传递
resp = requests.post(url=url,data=dat)
print(resp.json()) 
resp.close()

四、数据解析提取三种方式

        上述内容算入门了抓取整个网页的基本技能，但大多数情况下，我们并不需要整个网页的内容，只是需要那么一小部分，这就涉及到了数据提取的问题。
三种解析方式：

• re解析
• bs4解析
• xpath解析

1、re正则表达式解析

正则表达式是一种使用表达式的方式对字符串进行匹配的语法规则
抓取到的网页源代码本质上就是一个超长的字符串，想从里面提取内容，用正则再合适不过

在线正则表达式测试

（1）常用元字符

.	匹配除换行符以外的任意字符
\w	匹配字母或数字或下划线
\s	匹配任意的空白符
\d	匹配数字
\n	匹配一个换行符
\t	匹配一个制表符
^	匹配字符串的开始
$	匹配字符串的结尾
\W	匹配非字母或数字或下划线
\D	匹配非数字
\S	匹配非空白符
a|b	匹配字符a或字符b
()	匹配括号内的表达式，也表示一个组
[...]	匹配字符组中的字符 [a-zA-Z0-9]
[^...]	匹配除了字符组中字符的所有字符

（2）常用量词

*	重复零次或更多次
+	重复一次或更多次
?	重复零次或一次
{n}	重复n次
{n,}	重复n次或更多次
{n,m}	重复n到m次

 

（3）贪婪匹配和惰性匹配

.*	贪婪匹配（尽可能多的匹配）
.*?	惰性匹配（尽可能少的匹配）

↑ 贪婪匹配就是尽可能长地匹配

↑ 惰性匹配就是尽可能短地匹配

（4）re模块

• findall：匹配字符串中所有符合正则的内容
• finditer：匹配字符串中所有内容【返回的是迭代器】，从迭代器中拿到内容要.group

import re#findall:匹配字符串中所有符合正则的内容
list = re.findall(r"\d+","我的学号是20250102，他的学号是20240105")
print(list)#finditer:匹配字符串中所有内容【返回的是迭代器】，从迭代器中拿到内容要.group
it = re.finditer(r"\d+","我的学号是20250102，他的学号是20240105")
for i in it:print(i.group())

• search：找到一个结果就返回，返回的结果是match对象，拿数据要.group()
• match：从头开始匹配
• 预加载正则表达式

import re#search:找到一个结果就返回，返回的结果是match对象，拿数据要.group()
s = re.search(r"\d+","我的学号是20250102，他的学号是20240105")
print(s.group())#match：从头开始匹配
m = re.search(r"\d+","20250102，他的学号是20240105")
print(s.group())#预加载正则表达式
obj = re.compile(r"\d+") #相对于把头写好，后面直接补上字符串
ret = obj.finditer("我的学号是20250102，他的学号是20240105")
for i in ret:print(i.group())

•  ?P<起的别名>正则表达式：给提取的内容起别名，例如?P<name>.*?，给.*?匹配到的内容起别名name

s = """
<div class='cat'><span id='1'>凯蒂猫</span></div>
<div class='dog'><span id='2'>史努比</span></div>
<div class='mouse'><span id='3'>杰瑞</span></div>
<div class='fish'><span id='4'>小鲤鱼</span></div>
"""obj = re.compile(r"<div class='(?P<class>.*?)'><span id='(?P<id>.*?)'>(?P<name>.*?)</span></div>",re.S)
#re.S:让.能匹配换行符
result = obj.finditer(s)
for it in result:print(it.group("id") +" "+ it.group("class") +" "+ it.group("name"))

（5）re实战1：自定义爬取豆瓣排行榜 

 通过request拿到页面源代码，用re正则匹配提取数据

import re
import csv
import requests#request获取页面源代码
url = "https://movie.douban.com/top250?start=%d&filter="
num = int(input("请问您想要查询豆瓣电影Top榜单前多少页的信息："))for i in range(0,num): #第1页=0*25，第二页=1*25…… range范围[a,b)i=i*25
new_url = format(url%i) #用值i替换url中的变量，形成新的urldic = {
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 SLBrowser/9.0.6.2081 SLBChan/103 SLBVPV/64-bit"
}
resp = requests.get(url=new_url,headers=dic)
page_content = resp.text#re提取数据
obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>'r'.*?<p>(?P<daoyan>.*?)&nbsp.*?<br>(?P<year>.*?)&nbsp.*?'r'<span class="rating_num" property="v:average">(?P<score>.*?)</span>'r'.*?<span>(?P<people>.*?)人评价</span>',re.S)res = obj.finditer(page_content)
f = open("movie.csv","a",encoding="utf-8")
csvWriter = csv.writer(f) #将文件转为csv写入
for item in res:dic = item.groupdict() #把获取的数据转换成字典dic['year'] = dic['year'].strip() #去除字符串首尾的指定字符dic['daoyan'] = dic['daoyan'].strip()csvWriter.writerow(dic.values())f.close()
resp.close()
print("over!")

（6）re实战2：爬取电影天堂

import re
import csv
from urllib.parse import urljoinimport requests#request获取页面源代码
domain_url = "https://dydytt.net/index.htm"dic = {
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 SLBrowser/9.0.6.2081 SLBChan/103 SLBVPV/64-bit"
}
resp = requests.get(url=domain_url,headers=dic,verify=False)
resp.encoding = "gb2312"
main_page_ct = resp.text#re匹配数据
obj1 = re.compile(r"最新电影更新.*?<ul>(?P<url>.*?)</ul>",re.S)
obj2 = re.compile(r"<a href='(?P<href>.*?)'>",re.S)
obj3 = re.compile(r'<title>(?P<name>.*?)</title>'r'.*?磁力链下载器：<a href="(?P<down>.*?) target="_blank"  title="qBittorrent">',re.S)res1 = obj2.finditer(main_page_ct)f = open("dyttmovie.csv","a",encoding="utf-8")
csvWriter = csv.writer(f) #将文件转为csv写入#1.提取页面子链接
res2 = obj2.finditer(main_page_ct)
child_href_list = []
for i in res2:#拼接子页面连接child_url = urljoin(domain_url,i.group('href'))child_href_list.append(child_url)#2.提取子页面内容
for i in child_href_list:child_resp = requests.get(url=i,headers=dic,verify=False) #获取子页面urlchild_resp.encoding = 'gb2312'res3 = obj3.search(child_resp.text) #提取子页面数据tdic = res3.groupdict()csvWriter.writerow(tdic.values()) #存入文件f.close()
resp.close()
print("over!")