当前位置： 首页 > news >正文

Python爬虫解析工具之xpath使用详解

news 2025/7/2 20:09:01

文章目录

  • 一、数据解析方式
  • 二、xpath介绍
  • 三、环境安装
    • 1. 插件安装
    • 2. 依赖库安装
  • 四、xpath语法
  • 五、xpath语法在Python代码中的使用

一、数据解析方式

爬虫抓取到整个页面数据之后，我们需要从中提取出有价值的数据，无用的过滤掉。这个过程称为数据解析，也叫数据提取。数据解析的方式有多种，按照网站数据来源是静态还是动态进行分类，如下：

  1. 动态网站：字典取值。动态网站的数据一般都是JS发过来的，基本都是json格式数据，我们只需要将json格式转换为字典进行取值。
  2. 静态网站：xpath取值 + 正则取值。

说明：爬虫开发中，用的最多的数据解析方式是字典取值和xpath取值，占到80%以上，其余的少部分是正则取值。

二、xpath介绍

xpath全称XML Path Language，即XML路径语言。它是一门在XML文档中查找信息的语言，最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

xpath的选择功能十分强大，它提供了非常简明的路径选择表达式。另外，它还提供了众多的内建函数，用于字符串、数值、时间的匹配处理等，几乎所有我们想要定位的节点，都可以用XPath来选择。

三、环境安装

1. 插件安装

很多爬虫的初学者由于对解析工具语法的不熟练，经常会有这种情况：抓来的数据经过解析之后发现不是自己要的，就会多次调试代码，直至提取出精确的价值数据，这样就会导致爬虫多次频繁请求网站，结果自己的IP被网站封掉。那有没有好的办法规避这种情况呢？

有的，Chrome浏览器支持众多插件，其中就有适合xpath语法的元素查找插件：XPath Helper，在谷歌应用商店可以搜索安装，安装好之后图标如下图所示：

在这里插入图片描述

使用该插件的方法很简单，在Chrome浏览器中，打开任意网页之后，同时按下 Ctrl+Shift+X 键就可以看到网页上方的XPath Helper调试窗口，左边窗口是要输入的xpath语法，右边窗口是该xpath语法定位出的结果展示。这样就非常方便我们写爬虫项目，如果不确定解析出的结果是不是我们想要的，就可以先在调试窗口中多次调试，结果没有错误，再直接把该代码复制到我们的爬虫代码中运行，如下图：

在这里插入图片描述

2. 依赖库安装

在Python代码中，若要使用xpath解析，需要安装lxml这个第三方库，它对xpath语法提供了良好的支持，安装lxml库步骤如下：

1.同时按下win + R键，打开运行框，在里面输入cmd，点击确定。

在这里插入图片描述

2.来到控制台中，输入安装命令：pip install lxml -i https://mirrors.aliyun.com/pypi/simple/，然后按下回车键，等候安装完成，出现“Successfully installed …”字样即为安装成功。

在这里插入图片描述

四、xpath语法

xpath语法，也叫xpath路径表达式。因为xpath查找内容是按照HTML代码的标签树结构搜索的，每一个标签都有自己的父标签和子标签，比如下图这组HTML代码所示：

<body><div><a href="/ershoufang/dongcheng/"  title="北京东城在售二手房 ">东城</a><a href="/ershoufang/xicheng/"  title="北京西城在售二手房 ">西城</a><a href="/ershoufang/chaoyang/"  title="北京朝阳在售二手房 ">朝阳</a><a href="/ershoufang/haidian/"  title="北京海淀在售二手房 ">海淀</a></div>
</body>

代码中的 body 标签就是 div 标签的父标签，同理，div 标签是 body 标签的子标签。标签之间的这种父子关系用xpath语法表示的话就是用 / 分隔，比如我们要找 a 标签，xpath写法就是：div/a，或者 body/div/a。这种就类似我们的电脑上面文件路径表示方法，故而，xpath语法又叫xpath路径表达式。

看到上面这些，有的小伙伴可能会纳闷：既然找 a 标签，干嘛不直接写 a 就行了，怎么写这么多父子关系进行约束呢？是不是多此一举了？

在这里插入图片描述

没关系，看看下面这组代码图片：

在这里插入图片描述

如果说要在上面这组代码中找到高亮显示的这行 “2室1厅 | 53平米 | 南 北 | 精装 | 中楼层(共5层) | 板楼” 文字，单单输入 span 标签能找到吗？显然不能，因为里面有多个 span 标签，所以，使用xpath路径表达式的用意，就是希望使用标签的父子关系约束，来精确定位到我们要找的那个标签。

讲了这么多，接下来我们就看看xpath路径表达式的常用规则。使用xpath规则匹配查找的源码如下：

<body><div><a href="/ershoufang/dongcheng/"  title="北京东城在售二手房 ">东城</a><a href="/ershoufang/xicheng/"  title="北京西城在售二手房 ">西城</a><a href="/ershoufang/chaoyang/"  title="北京朝阳在售二手房 ">朝阳</a></div>
</body>

/    表示两个相邻元素节点关系，也可以说父子关系
用法示例：如果要找上述代码中的 a 标签，路径表达式为：div/a

注意：如果当前查找出来的标签有多个，比如上面查找到的 a 标签有3个，我们想要第2个，写法就是 div/a[2]，同理，我们需要第几个标签，就在标签后面加上[顺序值]

//     表示两个不相邻元素节点关系，也可以说爷孙这种隔代关系
用法示例：还是从上述代码中找 a 标签，路径表达式还可以写为：body//a

注意：// 也表示从任意位置开始检索，而不考虑它们的位置。xpath查找标签的顺序正常是从HTML文档头部开始查找，当一个HTML文档中标签非常多，我们查找的标签位于文档的中间某位置。如果直接从头部标签开始一级级往下检索，非常繁琐。用 “// + 标签名” 就相当于从该标签开始检索书写。比如我们还是要找 a 标签，可以写成 //a。

.     指代当前节点，比如xpath路径表达式找到某个元素后，想在此元素基础上往后面查找其他元素，那么前面的路径表达式就可以省略，用 . 替换

@     选取属性，作用就是更精确定位某个标签
用法示例：比如上面我们正常查找的 a 标签是有3个，我们还是要找第2个 a 标签，已经学了一种方法就是 a 标签后面加上[顺序值]。但是如果 a 标签有几十个呢，我们就要一个个数顺序，很繁琐也容易出错。这时候就可以通过标签自身的属性值来精确定位某个标签。我们仔细可以看出上面的每个 a 标签里面的 href 和 title 两个属性值都是彼此不同的，那我们要找第2个，可以这样写：//a[@href=“/ershoufang/xicheng/”] 或者 //a[@title="北京西城在售二手房 "]。格式就是：标签名[@属性名=属性值]

text()     提取标签中的文本内容
用法示例：上面的几种方式定位的都是某个标签，如果要拿到标签中的详细内容，比如要拿到第2个 a 标签的文本内容 “西城”这两个字，写法是：//a[@title="北京西城在售二手房 "]/text()。格式是：标签/text()

注意：/text()一定要写在标签及标签属性值后面，因为属性值是修饰该标签的，可以精确定位到某个标签，其次后面才加/text()，表示该标签的文本内容。当然定位的标签如果无需属性值作为修饰即可找到，则直接就是标签名加上/text()。

@属性名     提取标签内指定属性名的属性值
用法示例：上面我们提取了标签的文本内容，但是有时候可能需要提取标签内的某个属性名对应的属性值。比如要提取第2个 a 标签中 title 的属性值 “北京西城在售二手房” 这句话，写法是：//a[@title="北京西城在售二手房 "]/@title 或者 //a[2]/@title 都可以。格式是：标签/@属性名

以上就是开发中最常见的xpath表达式，记住这些对于日后解析爬虫来说就完全够用了。当然xpath还有许多其他路径表达式，有兴趣的小伙伴也可以额外探索。

五、xpath语法在Python代码中的使用

上面介绍的只是xpath路径表达式，但是如何实际在Python代码中使用呢？这就需要用到上面提到的依赖库 lxml 了。因为我们用爬虫抓取到的网页源码虽然是HTML文档，但是其实是字符串类型的数据，如下图抓取房源信息代码所示：

在这里插入图片描述

而xpath解析的是html或者lxml文档中的标签元素对象，不是字符串。我们就需要将抓到的字符串类型源码转换为html或者lxml文档中的标签元素对象，然后就可以正常使用xpath路径表达式进行解析查找。

如何将字符串内容转换成标签元素对象，要使用 lxml 库里面的 etree 模块中的 HTML() 方法，语法格式如下：

from lxml import etree  # 导入 lxml 库中的 etree 模块
变量名 = etree.HTML(网页源码)  # 使用 etree 模块的 HTML() 方法，括号中就是爬虫拿到的字符串类型的网页源码，将转换后的标签对象用变量保存

代码示例如下图所示：

在这里插入图片描述

转换为标签元素对象之后，就可以正常使用上面介绍的xpath路径表达式了，语法格式如下：

标签元素对象.xpath('路径表达式')  # 标签元素对象就是我们刚刚转换好的，括号里面的是双引号或者单引号都可以，包裹的就是路径表达式

代码示例如下图所示：

在这里插入图片描述

注意：在Python代码中，xpath路径表达式最终拿到的解析结果是以列表形式返回的，如果没有解析到目标数据，结果为空列表。

相关文章：

Python爬虫解析工具之xpath使用详解

文章目录 一、数据解析方式二、xpath介绍三、环境安装1. 插件安装2. 依赖库安装 四、xpath语法五、xpath语法在Python代码中的使用 一、数据解析方式 爬虫抓取到整个页面数据之后&#xff0c;我们需要从中提取出有价值的数据&#xff0c;无用的过滤掉。这个过程称为数据解析&a…...

编程日记 2023/8/22 16:53:46

Linux防火墙报错：Failed to start firewalld.service Unit is masked

Linux防火墙报错&#xff1a;Failed to start firewalld.service: Unit is masked. 1、故障现象&#xff1a; 启动防火墙失败&#xff0c;报错情况如下&#xff1a; systemctl start firewalld # 报错&#xff1a; Failed to start firewalld.service: Unit is masked.原因是…...

编程日记 2023/8/22 16:52:44

前端面试：【Vuex】Vue.js的状态管理利器

嗨&#xff0c;亲爱的Vuex探险家&#xff01;在Vue.js开发的旅程中&#xff0c;有一个强大的状态管理库&#xff0c;那就是Vuex。Vuex是Vue.js的官方状态管理工具&#xff0c;通过State、Mutation、Action和Module等核心概念&#xff0c;协助你轻松管理应用的状态。 1. 什么是V…...

编程日记 2023/8/22 16:51:43

Kotlin协程runBlocking并发launch，Semaphore同步1个launch任务运行

Kotlin协程runBlocking并发launch&#xff0c;Semaphore同步1个launch任务运行 <dependency><groupId>org.jetbrains.kotlinx</groupId><artifactId>kotlinx-coroutines-core</artifactId><version>1.7.3</version><type>pom&…...

编程日记 2023/8/22 16:50:40

c++ Union之妙用

union的作用基本是它里面的变量都用了同一块内存&#xff0c;跟起了别名一样&#xff0c;类型不一样的别名。 基本用法&#xff1a; struct Union{union {float a;int b;};};Union u;u.a 2.0f;std::cout << u.a << "," << u.b << std::endl…...

编程日记 2023/8/22 16:49:38

JSON的处理

1、JSON JSON(JavaScript Object Notation)&#xff1a;是一种轻量级的数据交换格式。 它是基于 ECMAScript 规范的一个子集&#xff0c;采用完全独立于编程语言的文本格式来存储和表示数据。 简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。易于人阅读和编写&#…...

编程日记 2023/8/22 16:48:37

matlab使用教程(20)—插值基础

1.网格和散点样本数据 插值是在位于一组样本数据点域中的查询位置进行函数值估算的方法。函数值是根据最接近查询点的样本数据点计算的。MATLAB 根据样本数据的结构&#xff0c;可以执行两种插值。样本数据可以形成网格&#xff0c;也可以是分散的。 网格化的样本数据使得插值…...

编程日记 2023/8/22 16:47:36

Python功能制作之简单的3D特效

需要导入的库&#xff1a; pygame: 这是一个游戏开发库&#xff0c;用于创建多媒体应用程序&#xff0c;提供了处理图形、声音和输入的功能。 from pygame.locals import *: 导入pygame库中的常量和函数&#xff0c;用于处理事件和输入。 OpenGL.GL: 这是OpenGL的Python绑定…...

编程日记 2023/8/22 16:46:35

leetcode-5-最长回文串

题目描述 给你一个字符串 s&#xff0c;找到 s 中最长的回文子串。 如果字符串的反序与原始字符串相同&#xff0c;则该字符串称为回文字符串。 示例 1&#xff1a; 输入&#xff1a;s “babad” 输出&#xff1a;“bab” 解释&#xff1a;“aba” 同样是符合题意的答案。 示…...

编程日记 2023/8/22 16:45:30

二、Oracle 数据库安装集

一、CentOS 安装 OCI下载地址 1. 启动 # 1. 登录服务器&#xff0c;切换到oracle用户&#xff0c;或者以oracle用户登录 su - oracle# 2. 打开监听服务 lsnrctl start# 3. 查看Oracle监听器运行状况 lsnrctl status# 4. 以sys用户身份登录 sqlplus /nolog# 5. 切换用户conn 用…...

编程日记 2023/8/22 16:44:29

【Python】Python中的常用函数及用法

目录 输入输出类型转换引用哈希字符串常用操作判断类型查找替换大小写转换文本对齐去除空白字符拆分和连接 列表常用操作增删改查增删改统计排序 元组常用操作 字典常用操作 范围随机数学比较常用函数三角函数数学常量 输入 input()&#xff1a;从键盘等待用户的输入&#xff0…...

编程日记 2023/8/22 16:43:25

基于JavaEE的ssm公司员工信息管理系统的设计与实现

基于JavaEE的ssm公司员工信息管理系统的设计与实现043 开发工具&#xff1a;idea 数据库mysql5.7 数据库链接工具&#xff1a;navcat,小海豚等 技术&#xff1a;ssm 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存…...

编程日记 2023/8/22 16:42:24

cornerstoneJS加载图片（base、矩阵）

cornerstoneJS默认加载dicom影像数据&#xff0c;将识别到的dicom数据转换成imageData数据&#xff0c;在界面上展示。故&#xff0c;cornerstoneJS也可直接加载imageData。 imageData数据的data是一个数组&#xff0c;每四个元素代表一个点&#xff0c;四个元素分别表示R、G、…...

编程日记 2023/8/22 16:41:23

3.Trunc截断函数用法

TRUNC函数用于对值进行截断 用法有两种&#xff1a;TRUNC&#xff08;NUMBER&#xff09;表示截断数字&#xff0c;TRUNC&#xff08;date&#xff09;表示截断日期 (1)截断数字 格式&#xff1a;TRUNC&#xff08;n1,n2&#xff09;&#xff0c;n1表示被截断的数字&#xf…...

编程日记 2023/8/22 16:40:22

腾讯云 CODING 荣获 TiD 质量竞争力大会 2023 软件研发优秀案例

点击链接了解详情 8 月 13-16 日&#xff0c;由中关村智联软件服务业质量创新联盟主办的第十届 TiD 2023 质量竞争力大会在北京国家会议中心召开。本次大会以“聚焦数字化转型 探索智能软件研发”为主题&#xff0c;聚焦智能化测试工程、数据要素、元宇宙、数字化转型、产融合作…...

编程日记 2023/8/22 16:39:21

VSCode如何为远程安装预设（固定）扩展

背景 在使用VSCode进行远程开发时&#xff08;python开发之远程开发工具选择_CodingInCV的博客-CSDN博客&#xff09;&#xff0c;特别是远程的机器经常变化时&#xff08;如机器来源于动态分配&#xff09;&#xff0c;每次连接新的远程时&#xff0c;都不得不手动安装一些开…...

编程日记 2023/8/22 16:38:19

一文解析HTTP与HTTPS，它们的区别和联系

一文解析HTTP与HTTPS&#xff0c;它们的区别和联系 HTTP和HTTPS之间不同点 尽管HTTP和HTTPS在安全性方面存在差异&#xff0c;但它们仍然共享许多相同的基本特征和功能。这些相同点使得HTTP成为广泛应用的标准协议&#xff0c;并且HTTPS作为更安全的替代方案被广泛采用。HTTP…...

编程日记 2023/8/22 16:37:18

Faster RCNN网络数据流总结

前言 在学习Faster RCNN时&#xff0c;看了许多别人写的博客。看了以后&#xff0c;对Faster RCNN整理有了一个大概的了解&#xff0c;但是对训练时网络内部的数据流还不是很清楚&#xff0c;所以在结合这个版本的faster rcnn代码情况下&#xff0c;对网络数据流进行总结。以便…...

编程日记 2023/8/22 16:36:16

拒绝摆烂！C语言练习打卡第五天

&#x1f525;博客主页&#xff1a;小王又困了 &#x1f4da;系列专栏&#xff1a;每日一练 &#x1f31f;人之为学&#xff0c;不日近则日退 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 目录 一、选择题 &#x1f4dd;1.第一题 &#x1f4dd;2.第二题 &#x1f4d…...

编程日记 2023/8/22 16:35:13

关于LambdaQueryWrapper.or()导致错误

这个是原始的代码&#xff0c;到导致一个问题&#xff0c;后面所有的内容&#xff0c;都在这个or的右边&#xff0c;也就是整个查询语句就这一个or&#xff0c;而很明显&#xff08; xxx or xxx&#xff09;and&#xff08;&#xff09;这才是我们要的&#xff0c;所以需要将这…...

编程日记 2023/8/22 16:34:12

浅谈 React Hooks

React Hooks 是 React 16.8 引入的一组 API&#xff0c;用于在函数组件中使用 state 和其他 React 特性&#xff08;例如生命周期方法、context 等&#xff09;。Hooks 通过简洁的函数接口&#xff0c;解决了状态与 UI 的高度解耦&#xff0c;通过函数式编程范式实现更灵活 Rea…...

编程新知 2025/6/15 8:06:37

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…...

编程新知 2025/7/2 6:25:16

论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（二）

HoST框架核心实现方法详解 - 论文深度解读（第二部分） 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章： 论文深度解读 + 算法与代码分析（二） 作者机构： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题： 人形机器人…...

编程新知 2025/6/17 5:29:50

Pinocchio 库详解及其在足式机器人上的应用

Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库&#xff0c;专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性&#xff0c;并提供了一个通用的框架&…...

编程新知 2025/6/16 13:45:11

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2025/7/2 1:09:41

管理学院权限管理系统开发总结

文章目录 &#x1f393; 管理学院权限管理系统开发总结 - 现代化Web应用实践之路&#x1f4dd; 项目概述&#x1f3d7;️ 技术架构设计后端技术栈前端技术栈 &#x1f4a1; 核心功能特性1. 用户管理模块2. 权限管理系统3. 统计报表功能4. 用户体验优化 &#x1f5c4;️ 数据库设…...

编程新知 2025/6/23 5:12:02

代码随想录刷题day30

1、零钱兑换II 给你一个整数数组 coins 表示不同面额的硬币&#xff0c;另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额&#xff0c;返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带…...

编程新知 2025/6/17 2:19:51

深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用

文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么&#xff1f;1.1.2 感知机的工作原理 1.2 感知机的简单应用&#xff1a;基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...

编程新知 2025/7/1 2:38:10

Rust 开发环境搭建

环境搭建 1、开发工具RustRover 或者vs code 2、Cygwin64 安装 https://cygwin.com/install.html 在工具终端执行&#xff1a; rustup toolchain install stable-x86_64-pc-windows-gnu rustup default stable-x86_64-pc-windows-gnu ​ 2、Hello World fn main() { println…...

编程新知 2025/6/20 15:14:27

「全栈技术解析」推客小程序系统开发：从架构设计到裂变增长的完整解决方案

在移动互联网营销竞争白热化的当下&#xff0c;推客小程序系统凭借其裂变传播、精准营销等特性&#xff0c;成为企业抢占市场的利器。本文将深度解析推客小程序系统开发的核心技术与实现路径&#xff0c;助力开发者打造具有市场竞争力的营销工具。​ 一、系统核心功能架构&…...

编程新知 2025/6/21 3:54:35