当前位置：首页 > news >正文

【Python/crawl】如何使用Python爬虫将一系列网页上的同类图片下载到本地

news 2025/9/17 3:23:49

【需求】

从网页https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html

开始，有十七页，每页都有大漂亮“小濑田麻由”的若干图片，想要将其下载到本地。

如果手工一张张右键另存为比较麻烦，想用程序自动下载下来。

【思路】

17张网页地址都是连续的，可以用基准网址+页码的形式拼出每个网页。

得到具体每页的网址后，可发起网络请求得到其html内容，再用BeautifulSoup去解析，把包含图片的img标签拿下来，从标签的src属性获取图片的真实地址。

有了图片的真实地址后，就可以发起网络请求获得相应，然后把相应内容存成二进制文件。

流程图

【代码】

#encoding=utf-8# 内置网络访问包
import requests# 内置的urllib.request模块
import urllib.request# 解析html的BeautifulSoup包，安装方法是pip install BeautifulSoup4
from bs4 import BeautifulSoup# 引入正则表达式包
import re# 把请求伪装成浏览器Mozilla
user_agent='Mozilla/4.0 (compatible;MEIE 5.5;windows NT)'
headers={'User-Agent':user_agent}# 以下两个变量需要手工修改
# 去除了页码的基准地址,这个地址需要自己拷贝粘贴过来
page_raw_url="https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/"
# 共有多少页，注意17不是死值，是需要自己看究竟有多少页然后修改的
page_count=17# 准备一个列表，用以放入文件名和地址组成的字典
jpglist=[]# 循环组合每页具体地址
for i in range(page_count):# 以粗地址和序号，重新组合每页的地址url=page_raw_url+str(i+1)# 发起请求获取其html内容html=requests.get(url,headers=headers)# 使用BeautifulSoup解析html文本soup= BeautifulSoup(html.text,'html.parser');jpg_count=0;# 查找html文本中img标签，指定其class是aligncenter，这个规律需要自己看网页源码探究出来！for img in soup.find_all('img',class_="aligncenter"):# 获取img的实际地址addr=img.get("src")# 使用正则表达式劈分文本parts = re.split(r'[/]', addr)# 最后一项即文件名filename=parts[-1]# 因为此法获取的文件名有两种:png和jpg，png是不需要的，故过滤掉if filename.endswith(".jpg"):# 准备字典，字典中包含地址和文件名两项dic={}dic['address']=addrdic['filename']=filename# 把字典放入列表jpglist.append(dic)jpg_count=jpg_count+1# 打印每页发现多少图片print("找到"+str(jpg_count)+"张靓照于网址:"+url)# 用len函数取得jpglist列表的总个数，打印出来
print("共找到"+str(len(jpglist))+"张靓照.")# 遍历列表，其中每一项是个字典
sn=0
for dic in jpglist:#print(dic['filename']+"_"+dic['address'])with urllib.request.urlopen(dic['address']) as response:data=response.read()filename=dic['filename']# write binary filesn=sn+1with open(filename,'wb') as f:f.write(data)print(str(sn)+"."+filename+" 已下载到本地.")print("全部靓照下载完成!")

【运行情况】

C:\hy\py>python 05-findallpic.py
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/1
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/2
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/3
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/4
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/5
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/6
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/7
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/8
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/9
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/10
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/11
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/12
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/13
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/14
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/15
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/16
找到4张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/17
共找到100张靓照.
1.p1682-0628-89533.jpg 已下载到本地.
2.p1682-0628-89534.jpg 已下载到本地.
3.p1682-0628-89535.jpg 已下载到本地.
4.p1682-0629-89536.jpg 已下载到本地.
5.p1682-0629-89537.jpg 已下载到本地.
6.p1682-0629-89538.jpg 已下载到本地.
7.p1682-0629-89539.jpg 已下载到本地.
8.p1682-0630-89540.jpg 已下载到本地.
9.p1682-0630-89541.jpg 已下载到本地.
10.p1682-0631-89542.jpg 已下载到本地.
11.p1682-0631-89543.jpg 已下载到本地.
12.p1682-0631-89544.jpg 已下载到本地.
13.p1682-0631-89545.jpg 已下载到本地.
14.p1682-0631-89546.jpg 已下载到本地.
15.p1682-0631-89547.jpg 已下载到本地.
16.p1682-0632-89548.jpg 已下载到本地.
17.p1682-0632-89549.jpg 已下载到本地.
18.p1682-0632-89550.jpg 已下载到本地.
19.p1682-0632-89551.jpg 已下载到本地.
20.p1682-0632-89552.jpg 已下载到本地.
21.p1682-0633-89553.jpg 已下载到本地.
22.p1682-0633-89554.jpg 已下载到本地.
23.p1682-0633-89555.jpg 已下载到本地.
24.p1682-0633-89556.jpg 已下载到本地.
25.p1682-0633-89557.jpg 已下载到本地.
26.p1682-0633-89558.jpg 已下载到本地.
27.p1682-0634-89559.jpg 已下载到本地.
28.p1682-0634-89560.jpg 已下载到本地.
29.p1682-0634-89561.jpg 已下载到本地.
30.p1682-0634-89562.jpg 已下载到本地.
31.p1682-0634-89563.jpg 已下载到本地.
32.p1682-0634-89564.jpg 已下载到本地.
33.p1682-0635-89565.jpg 已下载到本地.
34.p1682-0635-89566.jpg 已下载到本地.
35.p1682-0635-89567.jpg 已下载到本地.
36.p1682-0635-89568.jpg 已下载到本地.
37.p1682-0636-89569.jpg 已下载到本地.
38.p1682-0636-89570.jpg 已下载到本地.
39.p1682-0636-89571.jpg 已下载到本地.
40.p1682-0636-89572.jpg 已下载到本地.
41.p1682-0636-89573.jpg 已下载到本地.
42.p1682-0636-89574.jpg 已下载到本地.
43.p1682-0636-89575.jpg 已下载到本地.
44.p1682-0637-89576.jpg 已下载到本地.
45.p1682-0637-89577.jpg 已下载到本地.
46.p1682-0637-89578.jpg 已下载到本地.
47.p1682-0637-89579.jpg 已下载到本地.
48.p1682-0637-89580.jpg 已下载到本地.
49.p1682-0638-89581.jpg 已下载到本地.
50.p1682-0638-89582.jpg 已下载到本地.
51.p1682-0638-89583.jpg 已下载到本地.
52.p1682-0638-89584.jpg 已下载到本地.
53.p1682-0639-89585.jpg 已下载到本地.
54.p1682-0639-89586.jpg 已下载到本地.
55.p1682-0639-89587.jpg 已下载到本地.
56.p1682-0639-89588.jpg 已下载到本地.
57.p1682-0639-89589.jpg 已下载到本地.
58.p1682-0639-89590.jpg 已下载到本地.
59.p1682-0640-89591.jpg 已下载到本地.
60.p1682-0640-89596.jpg 已下载到本地.
61.p1682-0640-89604.jpg 已下载到本地.
62.p1682-0640-89609.jpg 已下载到本地.
63.p1682-0641-89621.jpg 已下载到本地.
64.p1682-0641-89623.jpg 已下载到本地.
65.p1682-0641-89627.jpg 已下载到本地.
66.p1682-0642-89634.jpg 已下载到本地.
67.p1682-0642-89641.jpg 已下载到本地.
68.p1682-0642-89649.jpg 已下载到本地.
69.p1682-0643-89652.jpg 已下载到本地.
70.p1682-0643-89654.jpg 已下载到本地.
71.p1682-0643-89657.jpg 已下载到本地.
72.p1682-0643-89664.jpg 已下载到本地.
73.p1682-0643-89666.jpg 已下载到本地.
74.p1682-0643-89669.jpg 已下载到本地.
75.p1682-0644-89671.jpg 已下载到本地.
76.p1682-0644-89675.jpg 已下载到本地.
77.p1682-0644-89677.jpg 已下载到本地.
78.p1682-0644-89679.jpg 已下载到本地.
79.p1682-0645-89680.jpg 已下载到本地.
80.p1682-0645-89682.jpg 已下载到本地.
81.p1682-0645-89683.jpg 已下载到本地.
82.p1682-0645-89684.jpg 已下载到本地.
83.p1682-0645-89685.jpg 已下载到本地.
84.p1682-0645-89687.jpg 已下载到本地.
85.p1682-0646-89689.jpg 已下载到本地.
86.p1682-0646-89691.jpg 已下载到本地.
87.p1682-0646-89692.jpg 已下载到本地.
88.p1682-0646-89694.jpg 已下载到本地.
89.p1682-0646-89696.jpg 已下载到本地.
90.p1682-0646-89698.jpg 已下载到本地.
91.p1682-0647-89701.jpg 已下载到本地.
92.p1682-0647-89703.jpg 已下载到本地.
93.p1682-0647-89705.jpg 已下载到本地.
94.p1682-0647-89706.jpg 已下载到本地.
95.p1682-0648-89707.jpg 已下载到本地.
96.p1682-0648-89709.jpg 已下载到本地.
97.p1682-0648-89710.jpg 已下载到本地.
98.p1682-0648-89711.jpg 已下载到本地.
99.p1682-0648-89712.jpg 已下载到本地.
100.p1682-0649-89713.jpg 已下载到本地.
全部靓照下载完成!

【运行结果】

检查发现，所有图片确实如愿被下载到了本地。程序如果修改基准网址和页码范围，也能用到同网站的其它人的照片上。

END

【Python/crawl】如何使用Python爬虫将一系列网页上的同类图片下载到本地

【需求】从网页https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html 开始，有十七页，每页都有大漂亮“小濑田麻由”的若干图片，想要将其…...

编程日记 2024/3/15 0:56:16

Postgresql 连接数查看，死锁问题解决

-- 查看所有连接 select * -- datname,pid,application_name,state from pg_stat_activity; -- 查询最大连接数 select max_conn-now_conn as resi_conn from (select setting::int8 as max_conn,(select count(*) from pg_stat_activity) as now_conn from pg_settings where…...

编程日记 2024/3/15 0:55:14

ssm蛋糕甜品商城系统(程序+文档+数据库)

** 🍅点赞收藏关注 → 私信领取本源代码、数据库🍅 本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路。🍅关注我不迷路🍅** 一、研究背景…...

编程日记 2024/3/15 0:54:13

算法空间复杂度计算

目录空间复杂度定义影响空间复杂度的因素算法在运行过程中临时占用的存储空间讲解例子斐波那契数列递归算法的性能分析二分法（递归实现）的性能分析空间复杂度定义空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大…...

编程日记 2024/3/15 0:53:12

C++ lambda函数个人理解

及方便自己在函数内部定义函数 int main() {int i 1;auto c [](int a, int c) {return ab;};int d a(2, i);cout<<c;return 0; }格式： auto functionname [capture](parameters) -> return_type { /* … */ }; （1）[capture] &a…...

编程日记 2024/3/15 0:49:08

SwiftUI的context Menu

SwiftUI的 context Menu 现在来演示一下如何使用 SwiftUI 的 Context Menu 。代码： import SwiftUIstruct ContextMenuBootCamp: View {State var bgColor: Color .purplevar body: some View {VStack(alignment: .leading, spacing: 10.0) {Image(systemName: …...

编程日记 2024/3/15 0:48:06

【数据结构】树与堆（向上/下调整算法和复杂度的分析、堆排序以及topk问题）

文章目录 1.树的概念1.1树的相关概念1.2树的表示 2.二叉树2.1概念2.2特殊二叉树2.3二叉树的存储 3.堆3.1堆的插入（向上调整）3.2堆的删除（向下调整）3.3堆的创建3.3.1使用向上调整3.3.2使用向下调整3.3.3两种建堆方式的比较 3.4堆排…...

编程日记 2024/3/15 0:44:02

安装CDH平台的服务器磁盘满了，磁盘清理过程记录

1.使用hdfs命令查看哪个文件占用最大 hdfs dfs -du -h /tmp 2.我的服务器上显示/tmp/hive/hive文件夹下的，一串字符串命名的文件特别大几乎把磁盘占满了网上查到/tmp文件是临时文件，由于hiveserver2任务运行异常导致缓存未删除，正常情况下…...

编程日记 2024/3/15 0:43:01

《互联网的世界》第七讲-能源

本想聊聊 tcp 和 quic，但这些都属于术的范畴，变化多端，等孩子们长大了又不知变成什么样子了，趁这段时间在家，还是得讲一些相对不变的东西，或法或势。从安阳卖血糕的精巧篦子想到如何做圆米粉和圆面条&a…...

编程日记 2024/3/15 0:42:00

前端代码整洁与规范之CSS篇

一、代码整洁 1. 命名规范 CSS 类名的命名应该简洁清晰，能够准确描述元素的作用。避免使用无意义的名称，例如“a”、“b”等，而应该使用有意义的英文单词或单词缩写。同时，也要避免使用驼峰命名法和下划线命名法混杂使用&#x…...

编程日记 2024/3/15 0:39:58

在【IntelliJ IDEA】中配置【Tomcat】【2023版】【中文】【图文详解】

作为一款功能强大的集成开发环境（IDE），IntelliJ IDEA为Web服务器提供了卓越的支持，从而极大地简化了程序员在Web开发过程中的工作流程。学习Java Web开发实质上就是掌握如何创造动态Web资源，这些资源在完成开发后&…...

编程日记 2024/3/15 0:38:57

【SSM】任务列表案例基本CRUD SSM整合

文章目录一、案例功能预览二、接口分析三、前端工程导入四、后端程序实现和测试4.1 准备4.2 功能实现4.2.1 分页查询显示4.2.2 添加计划4.2.2 删除计划4.2.3 修改计划 4.3 前后联调一、案例功能预览 Github 地址 ： ssm-integration-part 二、接口分析学习计划…...

编程日记 2024/3/15 0:36:55

基于微信小程序的校园跑腿小程序，附源码

博主介绍：✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…...

编程日记 2024/3/15 0:34:51

网络学习：9个计算机的“网络层”知识点

目录一、IP 地址 1.1 分类表示法： 1.1.1 分类表示地址的其他说明 1.2 无分类编址 CIDR 二、IP 数据报文格式 Q: IP 报文里有什么？可以不按顺序或者字节来讲一讲三、路由概念 3.1 路由表 3.2 路由网络匹配 3.3 ARP 解析 3.4 RARP 逆地址解析…...

编程日记 2024/3/15 0:32:49

web项目的搭建

使用Webstorm并创建Next.js文件 1、配置nodejs环境、安装webstorm【配置node.js可以使用nvm去管理nodejs的版本】 2、需要破解webstorm，可能会导致原本的idea失效，注册码过期 3、taobao的npm过期，导致npm is sass执行不成功，需…...

编程日记 2024/3/15 0:31:48

C++for语句

1.求平均年龄班上有学生若干名，给出每名学生的年龄（整数），求班上所有学生的平均年龄，保留到小数点后两位输入第1行有一个整数n(1 <= n <=100),表示学生的人数；其后n行每行有1个整数，表示每个学生的年龄，取值为15~25 输出一行，包含一个浮点数，为所求的平…...

编程日记 2024/3/15 0:29:46

【网络安全】-数字证书

数字证书数字证书是互联网通讯中用于标志通讯各方身份信息的一串数字或数据，它为网络应用提供了一种验证通信实体身份的方式。具体来说，数字证书是由权威的证书授权（CA）中心签发的，包含公开密钥拥有者信息以及公开密…...

编程日记 2024/3/15 0:22:40

【C++ 】stack 和 queue

1. 标准库中的stack stack 的介绍： 1. stack是一种容器适配器，专门用在具有后进先出操作的上下文环境中，其删除只能从容器的一端进行元素的插入与提取操作 2. stack是作为容器适配器被实现的，容器适配器即是对特定类封装作为其…...

编程日记 2024/3/15 0:21:39

html--彩虹马

文章目录 htmljscss 效果 html <!DOCTYPE html> <html lang"en" > <head> <meta charset"UTF-8"> <title>Rainbow Space Unicorn</title> <link rel"stylesheet" href"css/style.css"> &l…...

编程日记 2024/3/15 0:20:38