当前位置： 首页 > news >正文

Python爬虫基础——XPath表达式

news 2026/4/9 3:23:45

        首先说一下这节内容在学习过程中存在的问题吧，在爬取百度网页文字时，出现了问题，就是通过表达式在网页搜索中可以定位，但是通过代码无法定位，请教了一位老师，他说是动态链接，目前这部分内容比较陌生，还没有学习到，因此过一段时间在进行补充验证。我一般在学习时都是通过复现作者所写的代码，然后在进行扩展，最后结合网上的思路编写一个想读复杂的案例。

1、实例化etree对象

1.1 etree.parse('HTML文档路径') 使用patse()函数对etree进行实例化（已经验证）

1.2 etree.HTML('网页源码') 使用patse()函数对etree进行实例化（已经验证）

2、用XPath表达式定位标签并提取数据（动态参数存在问题，爬取静态类没有问题）参考文中代码

2.1 定位标签 2.1.1 标签名定位

2.1.2 索引定位

2.1.3 属性定位

2.1.4 逻辑也能算定位

2.2 提取文本内容和属性值

3、快速获取标签节点的Xpath表达式（已经验证）

##############################
##作者：白雪公主的后妈
##时间：2024年1月6日
##主题：Python爬虫基础——Xpath表达式
##主要内容：学习BeaytifulSoup对象中的lxml模块中的etree类，即etree类可以将网页源码实例化为一个etree对象，并shiyongXpanth表达式进行标签定位
###############################1、实例化etree对象
#要使用Xpanth表达式进行数据解析，首先需要实例化一个etree对象，具体方法有两种
#1.1    etree.parse('HTML文档路径')     使用patse()函数对etree进行实例化
# from lxml import etree
# html = etree.parse('text1.html')        #将HTML文档加载到etree类中，实例化成为一个名为html的etree对象
# #1.2    etree.HTML('网页源码')     使用patse()函数对etree进行实例化
# from lxml import etree
# import requests
# #身份码伪装
# header = {"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36 Edg/131.0.0.0"}        #浏览器身份验证
# #请求的地址
# url = "https://www.baidu.com"
# #发起请求,并获得网页源代码
# response = requests.get(url,headers=header).text
# html = etree.HTML(response)        #将网页源码加载到etree类中，实例化成为一个名为html的etree对象#2、用XPath表达式定位标签并提取数据
#完成etree对象实例化后，可以使用XPath表达式定位标签并提取数据了
#2.1 定位标签
#2.1.1 标签名定位
'''
假设要定位<ul>标签下的所有<li>标签节点，在途中从上往下依次是<html>标签节点——><div>标签节点2——>
<ul>标签节点2——><li>标签节点1、<li>标签节点2。注意用“/”表示一个层次，用“//”表示多个层次，因此，
上述路径XPath可以表示为“/html/body/div[1]/ul/il”。如果不加分区的定义所有的<li>标签，也可以用"//"。
'''
#2.1.2 索引定位
'''
etree对象的每一个层阶都是一个包含所有标签节点的列表，如果同一层级中有多个同名的标签节点，
使用列表切片就能定位到所需的标签节点，即通过索引定位。
'''
#2.1.3 属性定位
'''
在复杂的网页中，每个标签都有其属性，此时可以通过属性进行定位。
'''
import requests
from lxml import etree
#身份码伪装
header = {"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36 Edg/131.0.0.0"}        #浏览器身份验证
#请求的地址
#url = "https://www.baidu.com"
url = "https://www.hongxiu.com/chapter/30300190804146407/81349808731782632"
#发起请求,并获得网页源代码
response = requests.get(url,headers=header).text
# print(response)
html=etree.HTML(response)     #实例化etree对象
# print(html)print(html.xpath('//*[@id="chapter-81349808731782632"]/div/div[2]/div/p'))
#(html.xpath('//*[@id="hotsearch-content-wrapper"]/text()'))            #?????百度这里是动态链接书上给给到的这个方法有问题
# print(html.xpath('//*[@class="title"'))             #用class属性定位标签
'''
"//"表示多层级，处于Xpath表达式的开头代表从任意层级开始定位；“*”代表任意标签；"[@class="title"代表class属性值为"title"
的任意标签。如果拥有同一个class属性的标签不止一个，可以考虑用id属性值来定位。如果还不能达到目的，可以用其他属性来定位，也
可以将上述XPath表达式中的“*”替换为指定的标签名称，如html.xpath('//p[@class="title"')
'''
#2.1.4 逻辑也能算定位
'''
使用上述方法仍然不能定位，可以配合逻辑运算来进行更精确的定位。
'''
# html.xpath('//p[@class="title" and @name="color"]')
# html.xpath('//p[@class="title" or @name="color"]')
#2.2 提取文本内容和属性值
'''
定位到标签节点后，可在Xpath表达中后面添加“/text”来提取该节点下的所有文本内容，添加“text()”来提取该节点的所有文本内容，
添加“/@属性名”来提取该节点的指定属性值
'''
# html.xpath('//*[@class="title"]/text()')
# html.xpath('//*[@class="title"]//text()')
# html.xpath('//*[@class="title"]/@id')
#3、快速获取标签节点的Xpath表达式
'''
在谷歌浏览器中打开一个网页，然后打开开发者工具，在“Elements”选项卡中的网页源码中邮寄要获取的表达式的标签，
选择copy——>copy xpath即可赋值XPath表达式粘贴到爬虫程序中
'''

相关文章：

Python爬虫基础——XPath表达式

首先说一下这节内容在学习过程中存在的问题吧&#xff0c;在爬取百度网页文字时&#xff0c;出现了问题&#xff0c;就是通过表达式在网页搜索中可以定位&#xff0c;但是通过代码无法定位&#xff0c;请教了一位老师&#xff0c;他说是动态链接&#xff0c;目前这部分内容比较…...

编程日记 2025/1/9 19:15:59

ansible-性能优化

一. 简述&#xff1a; 搞过运维自动化工具的人&#xff0c;肯定会发现很多运维伙伴们经常用saltstack和ansible做比较&#xff0c;单从执行效率上来说&#xff0c;ansible确实比不上saltstack(ansible使用的是ssh,salt使用的是zeromq消息队列[暂没深入了解])&#xff0c;但其实…...

编程日记 2025/1/9 19:12:55

高等数学学习笔记 ☞ 一元函数微分的基础知识

1. 微分的定义 &#xff08;1&#xff09;定义&#xff1a;设函数在点的某领域内有定义&#xff0c;取附近的点&#xff0c;对应的函数值分别为和&#xff0c; 令&#xff0c;若可以表示成&#xff0c;则称函数在点是可微的。 【 若函数在点是可微的&#xff0c;则可以表达为】…...

编程日记 2025/1/9 19:08:49

前后端实现防抖节流实现

在前端和 Java 后端中实现防抖&#xff08;Debounce&#xff09;和节流&#xff08;Throttle&#xff09;主要用于减少频繁请求或事件触发对系统的压力。前端和后端的实现方式有些不同&#xff0c;以下是两种方法的具体实现&#xff1a; 1. 前端实现防抖和节流 在前端中&…...

编程日记 2025/1/9 19:07:46

【笔记】算法记录

1、求一个数的素因子&#xff08;试除法&#xff09; // 获取一个数的所有素因子 set<int> getPrimeFactors(int num) {set<int> primeFactors;for (int i 2; i * i < num; i) {while (num % i 0) {primeFactors.insert(i);num / i;}}if (num > 1) {prime…...

编程日记 2025/1/9 19:06:45

【网络云SRE运维开发】2025第2周-每日【2025/01/08】小测-【第8章 STP生成树协议】理论和实操解析

文章目录 一、选择题二、理论题三、实操题 【网络云SRE运维开发】2025第2周-每日【2025/01/08】小测-【第8章 STP生成树协议】理论和实操解析 一、选择题 生成树协议的主要作用是 B. 防止网络环路解释&#xff1a;生成树协议&#xff08;STP&#xff09;的主要目的是防止网络中…...

编程日记 2025/1/9 19:04:43

git push -f 指定分支

要将本地代码推送到指定的远程分支&#xff0c;你可以使用以下步骤和命令&#xff1a; 确认远程仓库&#xff1a; 确保你的本地仓库已经与远程仓库关联。你可以使用以下命令查看当前的远程仓库状态&#xff1a; git remote -v查看本地分支&#xff1a; 使用命令查看当前存在的本…...

编程日记 2025/1/9 19:01:38

CTF知识点总结（二）

异或注入&#xff1a;两个条件相同&#xff08;同真或同假&#xff09;即为假。 http://120.24.86.145:9004/1ndex.php?id1^(length(union)!0)-- 如上&#xff0c;如果union被过滤&#xff0c;则 length(union)!0 为假&#xff0c;那么返回页面正常。 2|0updatexml() 函数报…...

编程日记 2025/1/9 18:59:34

解决Edge打开PDF总是没有焦点

【问题描述】 使用Edge浏览器作为默认PDF阅读器打开本地PDF文件&#xff0c;Edge窗口总是不获得焦点&#xff0c;而是在任务栏以橙色显示&#xff0c;需要再手动点击一次才能查看文件内容。 本强迫症来治一治这个问题&#xff01; 【解决方法】 GPT老师指出问题出在Edge的启动…...

编程日记 2025/1/9 18:56:32

69.基于SpringBoot + Vue实现的前后端分离-家乡特色推荐系统（项目 + 论文PPT）

项目介绍 在Internet高速发展的今天&#xff0c;我们生活的各个领域都涉及到计算机的应用&#xff0c;其中包括家乡特色推荐的网络应用&#xff0c;在外国家乡特色推荐系统已经是很普遍的方式&#xff0c;不过国内的管理网站可能还处于起步阶段。家乡特色推荐系统采用java技术&…...

编程日记 2025/1/9 18:53:29

计算机视觉目标检测-DETR网络

目录 摘要abstractDETR目标检测网络详解二分图匹配和损失函数 DETR总结总结 摘要 DETR&#xff08;DEtection TRansformer&#xff09;是由Facebook AI提出的一种基于Transformer架构的端到端目标检测方法。它通过将目标检测建模为集合预测问题&#xff0c;摒弃了锚框设计和非…...

编程日记 2025/1/9 18:50:25

《自动驾驶与机器人中的SLAM技术》ch1：自动驾驶

目录 1.1 自动驾驶技术 1.2 自动驾驶中的定位与地图 1.1 自动驾驶技术 1.2 自动驾驶中的定位与地图 L2 在技术实现上会更倾向于实时感知&#xff0c;乃至可以使用感知结果直接构建鸟瞰图&#xff08;bird eye view, BEV&#xff09;&#xff0c;而 L4 则依赖离线地图。 高精地…...

编程日记 2025/1/9 18:49:23

【UE5 C++课程系列笔记】23——多线程基础——AsyncTask

目录 概念 函数说明 注意事项 &#xff08;1&#xff09;线程安全问题 &#xff08;2&#xff09;依赖特定线程执行的任务限制 &#xff08;3&#xff09;任务执行顺序和时间不确定性 使用示例 概念 AsyncTask 允许开发者将一个函数或者一段代码逻辑提交到特定的线程去执…...

编程日记 2025/1/9 18:48:21

基于Python的音乐播放器 毕业设计-附源码73733

摘 要 本项目基于Python开发了一款简单而功能强大的音乐播放器。通过该音乐播放器&#xff0c;用户可以轻松管理自己的音乐库&#xff0c;播放喜爱的音乐&#xff0c;并享受音乐带来的愉悦体验。 首先&#xff0c;我们使用Python语言结合相关库开发了这款音乐播放器。利用Tkin…...

编程日记 2025/1/9 18:47:12

cursor vip

https://cursor.jeter.eu.org?pf7f4f3fab0af4119bece19ff4a4360c3 可以直接复制命令使用git bash执行即可 命令&#xff1a; bash <(curl -Lk https://gitee.com/kingparks/cursor-vip/releases/download/latest/ic.sh) f7f4f3fab0af4119bece19ff4a4360c3 等待执行完成后…...

编程日记 2025/1/9 18:46:08

Docker部署项目，Mysql数据库总是宕机并且上传数据全部被删除了

刚开始排查原因我以为是一些内存占用问题的原因&#xff0c;后来查看数据库日志发现有多个异常ip尝试连接数据库并且也连接成功了随后数据库就被异常关闭了&#xff0c;然后我就重启容器远程连接数据库发现数据全没了&#xff0c;又在数据库中找到了如下内容&#xff1a; All y…...

编程日记 2025/1/9 18:45:07

C++ 复习总结记录六

C 复习总结记录六 模板初阶主要内容 1、泛型编程 2、函数模板 3、类模板 4、STL 简介 一 泛型编程 如何实现一个通用的交换函数 void Swap(int& left, int& right) {int temp left;left right;right temp; } void Swap(double& left, double& right…...

编程日记 2025/1/9 18:42:02

spring boot 集成 knife4j

1、knife4j介绍以及环境介绍 knife4j是为Java MVC框架集成Swagger生成Api文档的增强解决方案,前身是swagger-bootstrap-ui,取名knife4j是希望它能像一把匕首一样小巧,轻量,并且功能强悍!其底层是对Springfox的封装&#xff0c;使用方式也和Springfox一致&#xff0c;只是对接口…...

编程日记 2025/1/9 18:40:00

WordPress静态缓存插件WP Super Cache与 WP Fastest Cache

引言 WordPress是一款开源的内容管理系统&#xff08;CMS&#xff09;&#xff0c;最初作为博客平台开发&#xff0c;现已发展成为一个功能强大的建站工具&#xff0c;支持创建各种类型的网站&#xff0c;包括企业网站、在线商店、个人博客等。它具有用户友好的界面、丰富的插…...

编程日记 2025/1/9 18:38:59

Pytest钩子函数，测试框架动态切换测试环境

在软件测试中&#xff0c;测试环境的切换是个令人头疼的问题。不同环境的配置不同&#xff0c;如何高效切换测试环境成为许多测试开发人员关注的重点。你是否希望在运行测试用例时&#xff0c;能够动态选择测试环境&#xff0c;而不是繁琐地手动修改配置&#xff1f; Pytest 测…...

编程日记 2025/1/9 18:37:55

mysql如何审计误删除数据操作_mysql binlog逆向分析追踪

需用mysqlbinlog解析ROW格式binlog&#xff0c;查找DELETE_ROWS_EVENT及邻近GTID/QUERY事件中的用户、时间、线程信息&#xff0c;结合时间窗口与应用日志交叉定位误删操作。怎么从 binlog 找到谁删了哪条记录MySQL 本身不记录“谁在什么时间删了 id123 的数据”&#xff0c;但…...

编程新知 2026/4/9 3:19:08

解决Vivado中FDCP时序警告的实战技巧

1. 理解FDCP时序警告的本质 在Vivado开发过程中遇到FDCP时序警告时&#xff0c;很多开发者第一反应是"这又是个莫名其妙的警告"。但根据我处理过的二十多个类似案例&#xff0c;这个警告其实是个非常负责的"哨兵"&#xff0c;它在提醒你电路可能存在严重的…...

编程新知 2026/4/9 3:07:02

CAN总线终端电阻原理与应用详解

1. CAN总线终端电阻的基础认知作为一名汽车电子工程师&#xff0c;我经常需要处理CAN总线通信异常的问题。每当遇到波形不稳定或通信中断时&#xff0c;终端电阻总是首要检查的对象。CAN总线终端电阻的标准值是120Ω&#xff0c;这个数字在行业内几乎成为常识。但为什么是120Ω…...

编程新知 2026/4/9 1:59:46

初次学C语言编程（2）

上节课内容补充在上节课中的转义字符中\ddd 表示一个三个数字的八进制的数字 例如\130 十进制的ASCII是88 表示字符X\xdd表示的是一个两个数字的十六进制的数字 例如\x30 十进制ASCII是48 表示字符0\0表示null 没有字符 ASCII码是0&#xff0c;用于字符串的结束符号一、C…...

编程新知 2026/4/9 1:05:04

【医疗信息化开发者必修课】：C# FHIR SDK实战指南——从零构建符合HL7 FHIR R4规范的患者数据服务

第一章&#xff1a;FHIR标准与医疗信息化开发全景概览 FHIR&#xff08;Fast Healthcare Interoperability Resources&#xff09;是由HL7组织制定的现代医疗数据交换标准&#xff0c;旨在通过RESTful API、结构化资源和开放格式&#xff08;如JSON/XML&#xff09;弥合异构医疗…...

编程新知 2026/4/9 0:02:20

2026 年膜结构车棚厂家怎么选？行业资深经验参考

2026 年&#xff0c;随着膜结构停车棚市场需求的不断增长&#xff0c;如何选择一家靠谱的膜结构车棚厂家&#xff0c;成为众多用户面临的重要问题。本文将详细介绍该行业的痛点&#xff0c;并分享选择膜结构车棚厂家的有效方法&#xff0c;为大家提供可落地的实用参考。当前膜结…...

编程新知 2026/4/8 21:53:37

别再死磕复杂模型了！用Python+NumPy手把手教你从卫星J2000坐标算出经纬度

从卫星J2000坐标到经纬度&#xff1a;Python实战指南 当拿到卫星的J2000坐标数据时&#xff0c;如何快速将其转换为可在地图上显示的经纬度&#xff1f;本文将用Python和NumPy带你一步步实现这个转换过程&#xff0c;避开复杂的理论推导&#xff0c;专注于代码实现和实际问题解…...

编程新知 2026/4/8 21:47:33

别再暴力搜索了！用动态规划优化旅行商问题，C++代码效率提升实战

暴力搜索 vs 动态规划&#xff1a;旅行商问题的C效率革命 当城市数量超过10个时&#xff0c;传统的暴力搜索方法在解决旅行商问题(TSP)时就像试图用算盘计算宇宙中的原子数量——理论上可行&#xff0c;实际上完全不切实际。作为一名长期在算法竞赛中摸爬滚打的选手&#xff0c…...

编程新知 2026/4/8 21:11:15

掌握Vue 3日历组件实战：从业务场景到深度定制的全流程指南

掌握Vue 3日历组件实战&#xff1a;从业务场景到深度定制的全流程指南 【免费下载链接】fullcalendar-vue The official Vue 3 component for FullCalendar 项目地址: https://gitcode.com/gh_mirrors/fu/fullcalendar-vue 在现代Web应用开发中&#xff0c;Vue 3日历组件…...

编程新知 2026/4/8 20:10:25

UEFI固件分析实战：从入门到精通的逆向工程指南

UEFI固件分析实战&#xff1a;从入门到精通的逆向工程指南 【免费下载链接】UEFITOOL28 项目地址: https://gitcode.com/gh_mirrors/ue/UEFITOOL28 在现代计算机系统中&#xff0c;UEFI固件扮演着连接硬件与操作系统的关键角色&#xff0c;其安全性与功能性直接影响整个…...

编程新知 2026/4/8 19:01:02