当前位置： 首页 > news >正文

4.正则提取html中的img标签的src内容

news 2025/8/29 12:53:36

我们以百度贴吧的1吧举例

目录

1  把网页搞下来

2  收集url

3  处理url

4  空的src

5  容错

6  不使用数字作为文件名

7  并不是所有的图片都用img标签表示

8  img标签中src请求下来不一定正确

9  分页

 

1  把网页搞下来

搞下来之后，双击打开是这样的

2  收集url

我们实际拿的就是 img标签中src的内容，比如这个

我们通过正则获取一下

我们得到了这些结果

3  处理url

我们发现上面好多url都没有协议，那么我们需要给协议加上，然后发起请求，保存。我们用数字作为保存图像的名称

运行后发现报错了

4  空的src

错误的原因是我们获取的结果，第三条是空的

这种就是前端用来占位的，我们在保存的html中可以看到确实是没东西

这时候如果不确定的话，可以用浏览器访问，然后搜一下，发现在浏览器中它也是空的

5  容错

除了空的src，之后还可能会有很多问题，比起通过if来判断是否为空，在调试阶段中，我更倾向用try还except来捕获错误

这一次我们保存了很多的图片

但我们发现重复的图像太多了

6  不使用数字作为文件名

现在有很多方法来进行数据去重，比如使用hash库，我们这里使用文件名的方式去重，如果html中引入的文件相同，那他们的文件名也应该相同

我们发现有两种格式的url，一种是红色箭头的url以文件格式结尾，另一种是不以文件格式做结尾。但他们都有一个共同点，文件名都在最后一个斜杠的后面

那么我们可以这样写

  • 这样写有个缺点，对于查询字符串的url直接给了数字与png做名字

至此img的src内容已经全搞下来了

7  并不是所有的图片都用img标签表示

比如这张图

还有这张图

8  img标签中src请求下来不一定正确

比如这里，我保存的网页是这样的

但实际是这样的

我们这个时候就要关注img标签的其他属性，比如这里的 data-original与bpic，用浏览器访问data-original的地址，会得到缩略图

用浏览器访问bpic的地址会得到这张大图

9  分页

像这种分页一般由于url挂钩，第一页pn是0

第二页pn是50

之后的pn就会是100，150，200这种，我们可以利用这个特性爬取多页

发现可以成功爬取一些图片

相关文章：

4.正则提取html中的img标签的src内容

我们以百度贴吧的1吧举例 目录 1 把网页搞下来 2 收集url 3 处理url 4 空的src 5 容错 6 不使用数字作为文件名 7 并不是所有的图片都用img标签表示 8 img标签中src请求下来不一定正确 9 分页 1 把网页搞下来 搞下来之后，双击打开是这样的 2 收…...

编程日记 2023/9/6 20:17:25

安装对应版本pytorch和torchvision

遇见报错： ERROR: Could not find a version that satisfies the requirement torch (from versions: none) ERROR: No matching distribution found for torch 解决方法： 1、网站找到对应torch和torchvision版本，cp对应python版本&#xff…...

编程日记 2023/9/6 20:16:24

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

在一起，共迎新机遇！8月25-26日，2023华为数据存储用户精英论坛在西宁召开。酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联…...

编程日记 2023/9/6 20:15:23

若依 MyBatis改为MyBatis-Plus

主要内容：升级成mybatis-plus，代码生成也是mybatis-plus版本 跟着我一步一步来，就可完成升级！ 检查：启动程序，先保证若依能启动 第一步：添加依赖 这里需要在两个地方添加，一个是最…...

编程日记 2023/9/6 20:14:21

docker-ubuntu

docker ps docker images 拉取ubuntu镜像 docker pull ubuntu 启动 docker start podid docker run -itd -e TZAsia/Shanghai --name ubuntu-test -v /share:/shared -d ubuntu:latest 进入bash界面 docker exec -it podid /bin/bash 安装sudo apt-get install sudo …...

编程日记 2023/9/6 20:13:19

Mock 基本使用

mock解决的问题 开发时，后端还没完成数据输出，前端只好写静态模拟数据。数据太长了，将数据写在js文件里，完成后挨个改url。某些逻辑复杂的代码，加入或去除模拟数据时得小心翼翼。想要尽可能还原真实的数据&#xff0c…...

编程日记 2023/9/6 20:12:18

MySql学习笔记08——事务介绍

事务 基本概念 事务是一个完整的业务逻辑，是一个最小的工作单元，不可再分。 一个完整的业务逻辑包括一系列的操作，这些操作是整个业务逻辑中的最小单元，这些操作要么同时成功，要么同时失败。 由于只有DML语句中才会…...

编程日记 2023/9/6 20:11:17

AMEYA360：思瑞浦推出汽车级超低静态功耗高压LDO—TPL8031Q

聚焦高性能模拟芯片和嵌入式处理器创新研发的半导体公司——思瑞浦3PEAK(股票代码：688536)，推出全新一代汽车级超低静态功耗高压线性稳压器——TPL8031Q。 TPL8031Q拥有支持3V~42V宽输入电压范围、3μA超低静态功耗、多种封装可选等性能优势，…...

编程日记 2023/9/6 20:10:15

保留 N 条数据功能 实现方案

需求：用户浏览某信息后 就插入一条浏览记录，该浏览记录限制只保留 N 条。 实现方案： 1. 插入记录 2. 查询总记录 3. 判断：总记录 是否大于 阈值 3.1 如果大于：总记录 - 阈值 获取到超出数量，将对超出数…...

编程日记 2023/9/6 20:09:13

SOME/IP TTL 在各种Entry 中各是什么意思？有什么限制？

1 服务发现 SOME/IP SD 服务发现主要用于 定位服务实例检测服务实例状态是否在运行发布/订阅行为管理SOME/IP SD 也是 SOME/IP 消息，遵循 SOME/IP 消息格式，有固定的 Message ID、Request ID 以及 Message Type 等。并对 SOME/IP Payload 进行了详细的定义。 SOME/IP SD …...

编程日记 2023/9/6 20:08:12

CSS中如何实现元素的旋转和缩放效果？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 元素的旋转和缩放效果⭐ 写在最后 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅！这个专栏是为那些对Web开发感兴趣、刚刚踏…...

编程日记 2023/9/6 20:07:10

Unity通过偏移UV播放序列帧动画

大家好，我是阿赵。   在Unity引擎里面用shader播放序列图，估计很多人都有用到了，我自己而已写过好几个版本。这里大概介绍一下。 一、原理 先说目的，我现在有一张这样的图片： 这张图片上面，有9个格子&a…...

编程日记 2023/9/6 20:06:09

无涯教程-Android - List fragments函数

框架的ListFragment的静态库支持版本，用于编写在Android 3.0之前的平台上运行的应用程序，在Android 3.0或更高版本上运行时,仍使用此实现。 List fragment 的基本实现是用于创建fragment中的项目列表 List in Fragments 示例 本示例将向您说明如何基于…...

编程日记 2023/9/6 20:05:07

【图解RabbitMQ-3】消息队列RabbitMQ介绍及核心流程

🧑‍💻作者名称：DaenCode 🎤作者简介：CSDN实力新星，后端开发两年经验，曾担任甲方技术代表，业余独自创办智源恩创网络科技工作室。会点点Java相关技术栈、帆软报表、低代码平台快速开…...

编程日记 2023/9/6 20:04:06

jmeter源码二次开发

本文以jmeter5.5为例，扩展“TCP Socket支持定长的返回字节流”功能。 一、 源码本地编译运行 1、在jmeter官网下载源码：jmeter各版本源码地址 2、在idea中用gradle导入jmeter源码，idea中要配置jdk，gradle，我用的是j…...

编程日记 2023/9/6 20:03:05

深入实现 MyBatis 底层机制的任务阶段4 - 开发 Mapper 接口和 Mapper.xml

😀前言 在我们的自定义 MyBatis 底层机制实现过程中，我们已经深入研究了多个任务阶段，包括配置文件的读取、数据库连接的建立、执行器的编写，以及 SqlSession 的封装。每个任务阶段都为我们揭示了 MyBatis 内部工作原理的一部分&a…...

编程日记 2023/9/6 20:02:04

分享一下在微信上有哪些微信活动可以做

微信营销活动是吸引更多用户和提高品牌知名度的有效策略。下面是一些微信营销活动的做法： 抽奖活动：通过设置奖品和参与条件，吸引用户参与抽奖活动。例如，可以设置关注公众号、转发活动页面等条件，吸引更多用户参与抽奖…...

编程日记 2023/9/6 20:01:02

视频监控/视频汇聚/视频云存储EasyCVR平台接入国标GB协议后出现断流情况，该如何解决？

视频监控汇聚平台EasyCVR可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。安防监控平台EasyCVR既具备传统安防视频监控的能…...

编程日记 2023/9/6 20:00:01

没有软件怎么管理固定资产

在当今数字化的世界中，我们已经习惯了使用各种软件来管理我们的日常生活和工作。然而，当我们面临一个看似简单的问题——如何管理固定资产时，我们可能会感到困惑。那么，如果没有软件，我们该如何进行资产管理呢&#xf…...

编程日记 2023/9/6 19:59:00

几种反序列化漏洞

1.PHP魔术方法 <?php class c {private $name hacker;function __construct() { // 构造方法&#xff0c;new时调用echo construct<br>;}function __serialize() { // 序列化时调用echo serialize<br>;return [hack];}function __unserialize($data) { // 反…...

编程日记 2023/9/6 19:57:59

7.4.分块查找

一.分块查找的算法思想&#xff1a; 1.实例&#xff1a; 以上述图片的顺序表为例&#xff0c; 该顺序表的数据元素从整体来看是乱序的&#xff0c;但如果把这些数据元素分成一块一块的小区间&#xff0c; 第一个区间[0,1]索引上的数据元素都是小于等于10的&#xff0c; 第二…...

编程新知 2025/8/28 20:04:14

SciencePlots——绘制论文中的图片

文章目录 安装一、风格二、1 资源 安装 # 安装最新版 pip install githttps://github.com/garrettj403/SciencePlots.git# 安装稳定版 pip install SciencePlots一、风格 简单好用的深度学习论文绘图专用工具包–Science Plot 二、 1 资源 论文绘图神器来了&#xff1a;一行…...

编程新知 2025/7/12 6:45:46

深入浅出：JavaScript 中的 `window.crypto.getRandomValues()` 方法

深入浅出&#xff1a;JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中&#xff0c;随机数的生成看似简单&#xff0c;却隐藏着许多玄机。无论是生成密码、加密密钥&#xff0c;还是创建安全令牌&#xff0c;随机数的质量直接关系到系统的安全性。Jav…...

编程新知 2025/6/15 19:02:54

代理篇12|深入理解 Vite中的Proxy接口代理配置

在前端开发中，常常会遇到 跨域请求接口 的情况。为了解决这个问题，Vite 和 Webpack 都提供了 proxy 代理功能，用于将本地开发请求转发到后端服务器。 什么是代理（proxy）？ 代理是在开发过程中，前端项目通过开发服务器，将指定的请求“转发”到真实的后端服务器，从而绕…...

编程新知 2025/6/17 5:18:28

Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？

在大数据处理领域&#xff0c;Hive 作为 Hadoop 生态中重要的数据仓库工具&#xff0c;其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式&#xff0c;很多开发者常常陷入选择困境。本文将从底…...

编程新知 2025/8/9 22:34:22

QT3D学习笔记——圆台、圆锥

类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体&#xff08;对象或容器&#xff09;QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质&#xff08;定义颜色、反光等&#xff09;QFirstPersonC…...

编程新知 2025/7/18 1:59:18

【C++特殊工具与技术】优化内存分配(一)：C++中的内存分配

目录 一、C 内存的基本概念​ 1.1 内存的物理与逻辑结构​ 1.2 C 程序的内存区域划分​ 二、栈内存分配​ 2.1 栈内存的特点​ 2.2 栈内存分配示例​ 三、堆内存分配​ 3.1 new和delete操作符​ 4.2 内存泄漏与悬空指针问题​ 4.3 new和delete的重载​ 四、智能指针…...

编程新知 2025/8/22 5:49:13

[免费]微信小程序问卷调查系统(SpringBoot后端+Vue管理端)【论文+源码+SQL脚本】

大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的微信小程序问卷调查系统(SpringBoot后端Vue管理端)【论文源码SQL脚本】&#xff0c;分享下哈。 项目视频演示 【免费】微信小程序问卷调查系统(SpringBoot后端Vue管理端) Java毕业设计_哔哩哔哩_bilibili 项…...

编程新知 2025/7/30 20:17:46

GO协程(Goroutine)问题总结

在使用Go语言来编写代码时&#xff0c;遇到的一些问题总结一下 [参考文档]&#xff1a;https://www.topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/goroutine.html 1. main()函数默认的Goroutine 场景再现&#xff1a; 今天在看到这个教程的时候&#xff0c;在自己的电…...

编程新知 2025/8/5 8:28:48

tauri项目，如何在rust端读取电脑环境变量

如果想在前端通过调用来获取环境变量的值&#xff0c;可以通过标准的依赖&#xff1a; std::env::var(name).ok() 想在前端通过调用来获取&#xff0c;可以写一个command函数&#xff1a; #[tauri::command] pub fn get_env_var(name: String) -> Result<String, Stri…...

编程新知 2025/8/22 12:14:51