当前位置： 首页 > news >正文

Python 爬虫入门（五）：使用 lxml 解析网页

news 2026/2/10 4:30:23

Python 爬虫入门（五）：使用 lxml 解析网页

    • 前言
    • 1. lxml 简介
      • 1.1 什么是 lxml？
      • 1.2 为什么选择 lxml？
      • 1.3 安装 lxml
    • 2. lxml 基础
      • 2.1 解析 HTML/XML
      • 2.2 XPath 表达式
      • 2.3 使用 XPath 提取数据
    • 3. 深入解析
      • 3.1 处理命名空间
      • 3.2 处理属性
      • 3.3 处理文本和尾随文本
    • 4. 性能优化
      • 4.1 使用 iterparse 解析大型文件
      • 4.2 避免 XPath 性能陷阱
    • 5. 实战演练
      • 5.1 项目概述
      • 5.2 项目步骤
      • 5.3 示例代码
    • 总结

前言

欢迎来到“Python 爬虫入门”系列的第五篇文章。今天我们将深入了解HTML/XML解析库——lxml，教你如何使用它来解析网页。

1. lxml 简介

1.1 什么是 lxml？

lxml 是一个Python库，提供了对HTML和XML文件的高效处理能力。

它支持XPath和XSLT，使得在大量数据中查找和提取信息变得非常简单。

1.2 为什么选择 lxml？

  • 速度快：lxml 使用C语言编写，因此解析速度非常快。
  • 功能强大：支持XPath和XSLT，可以轻松处理复杂的查询。
  • 易于使用：API设计简洁，易于学习和使用。

1.3 安装 lxml

使用 pip 安装 lxml：

pip install lxml

2. lxml 基础

2.1 解析 HTML/XML

使用 lxml 解析HTML/XML文件非常简单。

从 lxml 库中导入 etree 模块：

from lxml import etree

使用 etree 解析HTML/XML字符串或文件：

# 解析字符串
html = """
<!DOCTYPE html>
<html><head><!-- 这里可以添加头部信息，比如CSS链接、JavaScript文件链接等 --></head><body><h1>Hello, World!</h1><!-- 这里可以添加更多的HTML内容 --></body>
</html>
"""
root = etree.HTML(html)# 解析文件
tree = etree.parse('demo.html')
root = tree.getroot()

2.2 XPath 表达式

XPath 是一种在XML文档中查找信息的语言。

lxml 利用XPath提供了强大的查询功能。

  • 节点轴：如 child::, parent::, descendant:: 等。
  • 节点测试：如 *（任意元素节点）, text()（文本节点）等。
  • 谓语表达式：如 [position()=1]（第一个节点）, [@attr=‘value’]（具有特定属性的节点）等。

2.3 使用 XPath 提取数据

在这里插入图片描述

3. 深入解析

3.1 处理命名空间

在解析带有命名空间的XML时，你需要在XPath表达式中声明命名空间。
在这里插入图片描述

3.2 处理属性

使用 @ 符号可以轻松获取元素的属性。
在这里插入图片描述

3.3 处理文本和尾随文本

在解析元素时，除了获取其子元素外，还可以获取其文本和尾随文本。
在这里插入图片描述

4. 性能优化

4.1 使用 iterparse 解析大型文件

当处理大型XML文件时，使用 iterparse 可以节省内存。

for _, element in etree.iterparse('large_file.xml', events=('end',)):if element.tag == 'target_element':process(element)element.clear()

4.2 避免 XPath 性能陷阱

编写高效的XPath表达式可以显著提高解析速度。

  • 避免使用通配符 *，因为它会匹配所有元素。
  • 使用谓语表达式限制搜索范围。

5. 实战演练

5.1 项目概述

假设我们使用 lxml 解析一个新闻网站，提取新闻标题和链接。

5.2 项目步骤

  1. 发送 HTTP 请求获取网页内容。
  2. 使用 lxml 解析网页。
  3. 使用 XPath 提取新闻标题和链接。
  4. 将结果保存到文件。

5.3 示例代码

import requests
from lxml import etree# 发送请求
response = requests.get('http://xxx.com/news')
root = etree.HTML(response.content)# 提取新闻标题和链接
news = root.xpath('//div[@class="news-list"]//a')
for item in news:title = item.xpath('text()')[0]link = item.get('href')print(f'Title: {title}, Link: {link}')# 保存结果到文件
with open('news.txt', 'w') as f:for item in news:title = item.xpath('text()')[0]link = item.get('href')f.write(f'{title}, {link}\n')

总结

通过本文的学习，相信你已经掌握了 lxml 的基本使用方法，包括如何解析HTML/XML文件、使用XPath表达式提取数据、处理命名空间和属性、以及性能优化技巧。

如果你觉得本文对你有帮助，请不吝点赞和分享。

相关文章：

Python 爬虫入门（五）：使用 lxml 解析网页

Python 爬虫入门&#xff08;五&#xff09;&#xff1a;使用 lxml 解析网页 前言1. lxml 简介1.1 什么是 lxml&#xff1f;1.2 为什么选择 lxml&#xff1f;1.3 安装 lxml 2. lxml 基础2.1 解析 HTML/XML2.2 XPath 表达式2.3 使用 XPath 提取数据 3. 深入解析3.1 处理命名空间…...

编程日记 2024/7/31 10:03:21

阿里云RDS到亚马逊云RDS的实时数据同步方案详解

1. 需求背景 在当今的多云环境中,企业经常需要在不同云平台之间同步数据。本文将详细介绍如何实现从阿里云RDS MySQL数据库到亚马逊云RDS MySQL数据库的实时数据同步。这种同步对于数据备份、跨区域数据访问、数据分析等场景都非常有用。 2. 方案概述 我们将使用AWS Kinesis…...

编程日记 2024/7/31 10:02:20

《LeetCode热题100》---＜滑动窗口篇两道＞

本篇博客讲解LeetCode热题100道滑动窗口篇中的两道题 第一道&#xff1a;无重复字符的最长子串 第二道&#xff1a;找到字符当中的所有字母异位词 第一道&#xff1a;无重复字符的最长子串 哈希滑动窗口 class Solution {public int lengthOfLongestSubstring(String s0) {int…...

编程日记 2024/7/31 10:01:19

Python学习计划——9.1多线程编程

并发编程是一种在同一时间段内运行多个任务的方法&#xff0c;可以提高程序的效率和性能。Python中的多线程编程可以使用threading模块实现。以下是多线程编程的详细讲解和可运行的Python案例。 1. 什么是多线程 多线程是一种并发编程的方式&#xff0c;它允许在同一个进程中…...

编程日记 2024/7/31 10:00:18

借助 NGINX 对本地的 Kubernetes 服务进行自动化的 TCP 负载均衡

原文作者&#xff1a;Chris Akker - F5 技术解决方案架构师&#xff0c;Steve Wagner - F5 NGINX 解决方案架构师 原文链接&#xff1a;借助 NGINX 对本地的 Kubernetes 服务进行自动化的 TCP 负载均衡 转载来源&#xff1a;NGINX 中文官网 NGINX 唯一中文官方社区 &#xff0c…...

编程日记 2024/7/31 9:58:14

基于python的大学学生影响力分析系统设计与实现

博主介绍&#xff1a; 大家好&#xff0c;本人精通Java、Python、C#、C、C编程语言&#xff0c;同时也熟练掌握微信小程序、Php和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我有丰富的成品Java、Python、C#毕设项目经验&#xff0c;能够为学生提供各类…...

编程日记 2024/7/31 9:56:12

upload-labs靶场(1-19关)

upload-labs靶场 简介 upload-labs是一个使用php语言编写的&#xff0c;专门收集渗透测试过程中遇到的各种上传漏洞的靶场。旨在帮助大家对上传漏洞有一个全面的了解。目前一共19关&#xff0c;每一关都包含着不同上传方式。 注意&#xff1a;能运行<?php phpinfo();?&…...

编程日记 2024/7/31 9:55:10

Python面向对象浅析

目录 面向对象基本概念 一、类和对象 类和对象是面向对象骗程的两个核心概念。 在程序开发中&#xff0c;要设计一个类&#xff0c;通常需要满足一下三个要素: self详解&#xff1a; 对象&#xff08;Object&#xff09; 魔法方法&#xff1a; 类里的一些特殊方法 __in…...

编程日记 2024/7/31 9:53:08

JS基本语法

JS代码写在body结束标签的上面 如点击按钮调用方法&#xff1a; 在浏览器的控制台打印测试数据 console.log() <body><button type"button" onclick"easymethod()">点击我</button><script>//JS代码&#xff0c;写在body标签的…...

编程日记 2024/7/31 9:52:07

LSTM详解总结

LSTM&#xff08;Long Short-Term Memory&#xff09;是一种用于处理和预测时间序列数据的递归神经网络&#xff08;RNN&#xff09;的改进版本。其设计初衷是为了解决普通RNN在长序列训练中出现的梯度消失和梯度爆炸问题。以下是对LSTM的详细解释&#xff0c;包括原理、公式、…...

编程日记 2024/7/31 9:51:06

制品库nexus

详见&#xff1a;Sonatype Nexus Repository搭建与使用&#xff08;详细教程3.70.1&#xff09;-CSDN博客 注意事项&#xff1a; 1.java8环境使用nexus-3.69.0-02-java8-unix.tar.gz包 2.java11环境使用nexus-3.70.1-02-java11-unix.tar.gz包 3.注意使用制品库/etc/yum.repos.…...

编程日记 2024/7/31 9:49:03

2022.11.17 阿里钉钉数据开发岗位一面

今天晚上和阿里钉钉面试官聊了一面&#xff0c;整个过程持续45分钟&#xff0c;还是相当持久的。前面先让我自我介绍&#xff0c;包括自身背景、工作经历和项目经验&#xff0c;在介绍的时候面试官几次打断&#xff0c;让我停下来&#xff0c;然后他提问&#xff0c;我很纳闷还…...

编程日记 2024/7/31 9:48:02

【无标题】Git(仓库，分支，分支冲突)

Git 一种分布式版本控制系统&#xff0c;用于跟踪和管理代码的变更 一&#xff0e;Git的主要功能&#xff1a; 二&#xff0e;准备git机器 修改静态ip&#xff0c;主机名 三&#xff0e;git仓库的建立&#xff1a; 1.安装git [rootgit ~]# yum -y install git 2.创建一个…...

编程日记 2024/7/31 9:45:59

访问控制列表(ACL)

文章目录 ACL原理与基本配置ACL分类ACL组成ACL规则的匹配与应用 ACL原理与基本配置 ACL(Access Control List&#xff0c;访问控制列表) 读取二层、三层、四层报文信息根据预先定义好的规则对报文进行过滤和分类实现网络访问控制、防止网络攻击和提高网络带宽利用率等目的提高…...

编程日记 2024/7/31 9:44:58

自用git命令(待完善)

----------------------------------------------------------------------------------------- ###基础 git config --global user.name "xxxxx" #设置提交人 name git config --global user.email "xxxxxx163.com" #设置提交人 email git …...

编程日记 2024/7/31 9:43:57

突破•指针四

听说这是目录哦 函数指针数组&#x1fae7;用途&#xff1a;转移表 回调函数&#x1fae7;能量站&#x1f61a; 函数指针数组&#x1fae7; 函数指针数组是存放函数地址的数组&#xff0c;例如int (*parr[5])()中parr先和[]结合&#xff0c;说明parr是可以存放5个函数地址【元…...

编程日记 2024/7/31 9:41:54

深入解析Python `requests`库源码，揭开HTTP请求的神秘面纱！

&#x1f538; 第一部分&#xff1a;requests库的入口 我们从requests库的入口开始&#xff0c;通常我们会使用 requests.get() 或 requests.post() 等方法发送HTTP请求。那么&#xff0c;这些方法背后究竟做了些什么呢&#xff1f;我们从requests.get()方法开始看起&#xff…...

编程日记 2024/7/31 9:39:51

day1 服务端与消息编码

文章目录 消息的序列化与反序列化通信过程服务端的实现main 函数(一个简易的客户端) 本文代码地址&#xff1a; 本文是7天用Go从零实现RPC框架GeeRPC的第一篇。 使用 encoding/gob 实现消息的编解码(序列化与反序列化)实现一个简易的服务端&#xff0c;仅接受消息&#xff0c…...

编程日记 2024/7/31 9:37:49

部署WMS仓储管理系统项目后的注意事项

在探讨现代WMS仓储管理系统的部署与运营时&#xff0c;我们不得不深入剖析其背后的多维度考量与策略&#xff0c;以确保这一核心系统能够无缝融入并推动企业的整体供应链优化。WMS仓储管理系统作为连接仓库内部操作与外部供应链的桥梁&#xff0c;其重要性不言而喻&#xff0c;…...

编程日记 2024/7/31 9:36:48

跨网段 IP 地址通信故障分析

现如今计算机网络的规模和复杂性不断增加&#xff0c;跨网段通信成为网络运行中的常见需求。但如果设备处于不同网段且路由设置出现偏差时就会导致通信故障&#xff0c;严重影响网络的正常运行和数据传输。 1.跨网段通信的基本原理 跨网段通信依赖于路由器的路由功能。路由器根…...

编程日记 2024/7/31 9:35:47

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别，但在其他电脑上正常工作时，问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤，帮助你快速找到故障原因： 背景： 一个M-pard（铭豹）扩展坞的网卡突然无法识别了，扩展出来的三个USB接口正常。…...

编程新知 2026/2/9 16:05:07

条件运算符

C中的三目运算符&#xff08;也称条件运算符&#xff0c;英文&#xff1a;ternary operator&#xff09;是一种简洁的条件选择语句&#xff0c;语法如下&#xff1a; 条件表达式 ? 表达式1 : 表达式2• 如果“条件表达式”为true&#xff0c;则整个表达式的结果为“表达式1”…...

编程新知 2025/12/6 22:50:48

Frozen-Flask ：将 Flask 应用“冻结”为静态文件

Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是&#xff1a;将一个 Flask Web 应用生成成纯静态 HTML 文件&#xff0c;从而可以部署到静态网站托管服务上&#xff0c;如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...

编程新知 2025/12/5 20:57:13

【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控，故障处理工具

第2章 虚拟机性能监控&#xff0c;故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令&#xff1a;jps [options] [hostid] 功能&#xff1a;本地虚拟机进程显示进程ID&#xff08;与ps相同&#xff09;&#xff0c;可同时显示主类&#x…...

编程新知 2026/1/15 1:34:10

重启Eureka集群中的节点，对已经注册的服务有什么影响

先看答案&#xff0c;如果正确地操作&#xff0c;重启Eureka集群中的节点&#xff0c;对已经注册的服务影响非常小&#xff0c;甚至可以做到无感知。 但如果操作不当&#xff0c;可能会引发短暂的服务发现问题。 下面我们从Eureka的核心工作原理来详细分析这个问题。 Eureka的…...

编程新知 2025/9/24 3:38:34

C++.OpenGL （14/64）多光源（Multiple Lights）

多光源（Multiple Lights） 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...

编程新知 2025/6/11 3:15:20

C#中的CLR属性、依赖属性与附加属性

CLR属性的主要特征 封装性&#xff1a; 隐藏字段的实现细节 提供对字段的受控访问 访问控制&#xff1a; 可单独设置get/set访问器的可见性 可创建只读或只写属性 计算属性&#xff1a; 可以在getter中执行计算逻辑 不需要直接对应一个字段 验证逻辑&#xff1a; 可以…...

编程新知 2025/12/4 0:13:33

【C++特殊工具与技术】优化内存分配(一)：C++中的内存分配

目录 一、C 内存的基本概念​ 1.1 内存的物理与逻辑结构​ 1.2 C 程序的内存区域划分​ 二、栈内存分配​ 2.1 栈内存的特点​ 2.2 栈内存分配示例​ 三、堆内存分配​ 3.1 new和delete操作符​ 4.2 内存泄漏与悬空指针问题​ 4.3 new和delete的重载​ 四、智能指针…...

编程新知 2026/1/31 6:12:22

[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.

ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #&#xff1a…...

编程新知 2026/1/31 4:37:53

脑机新手指南（七）：OpenBCI_GUI：从环境搭建到数据可视化（上）

一、OpenBCI_GUI 项目概述 &#xff08;一&#xff09;项目背景与目标 OpenBCI 是一个开源的脑电信号采集硬件平台&#xff0c;其配套的 OpenBCI_GUI 则是专为该硬件设计的图形化界面工具。对于研究人员、开发者和学生而言&#xff0c;首次接触 OpenBCI 设备时&#xff0c;往…...

编程新知 2026/2/3 4:26:32