当前位置： 首页 > news >正文

Beautiful Soup 入门指南：从零开始掌握网页解析

news 2026/5/18 1:54:09

Beautiful Soup 入门指南：从零开始掌握网页解析

前言

在数据驱动的时代，网页数据是非常宝贵的资源。很多时候我们需要从网页上提取数据，进行分析和处理。Beautiful Soup 是一个非常流行的 Python 库，可以帮助我们轻松地解析和提取网页中的数据。本文将详细介绍 Beautiful Soup 的基础知识和常用操作，帮助初学者快速入门和精通这一强大的工具。

什么是 Beautiful Soup？

Beautiful Soup 是一个 Python 库，用于从 HTML 和 XML 文件中提取数据。它将复杂的文件结构转化为一个易于遍历和搜索的解析树，使我们能够轻松地查找、修改和提取数据。

安装 Beautiful Soup

在开始使用 Beautiful Soup 之前，我们首先需要安装它。你可以使用 pip 命令来安装：

pip install beautifulsoup4
pip install lxml  # 可选的解析器，速度更快

基本使用

1. 加载 HTML 内容

首先，我们需要加载网页内容。你可以通过从文件中读取或通过 HTTP 请求获取 HTML 内容。这里我们使用一个简单的 HTML 示例文件：

<!DOCTYPE html>
<html>
<head><title>示例页面</title>
</head>
<body><h1 id="main-heading">欢迎来到示例页面</h1><p class="description">这里是一个简单的 HTML 示例。</p><a href="https://example.com" class="link">访问示例网站</a><ul><li>项目一</li><li>项目二</li><li>项目三</li></ul>
</body>
</html>

我们可以使用以下代码加载这个 HTML 内容：

from bs4 import BeautifulSouphtml_content = """
<!DOCTYPE html>
<html>
<head><title>示例页面</title>
</head>
<body><h1 id="main-heading">欢迎来到示例页面</h1><p class="description">这里是一个简单的 HTML 示例。</p><a href="https://example.com" class="link">访问示例网站</a><ul><li>项目一</li><li>项目二</li><li>项目三</li></ul>
</body>
</html>
"""soup = BeautifulSoup(html_content, 'lxml')  # 使用 lxml 解析器
2. 查找元素

Beautiful Soup 提供了多种方法来查找元素：

  • 通过标签名查找：
title_tag = soup.title
print(title_tag.text)  # 输出：示例页面
  • 通过属性查找：
heading_tag = soup.find('h1', id='main-heading')
print(heading_tag.text)  # 输出：欢迎来到示例页面link_tag = soup.find('a', class_='link')
print(link_tag['href'])  # 输出：https://example.com
  • 查找所有符合条件的元素：
list_items = soup.find_all('li')
for item in list_items:print(item.text)
# 输出：
# 项目一
# 项目二
# 项目三
3. 遍历解析树

Beautiful Soup 允许我们轻松地遍历解析树：

  • 父节点和子节点：
body_tag = soup.body
for child in body_tag.children:print(child)  # 输出 body 的直接子节点
  • 兄弟节点：
first_item = soup.find('li')
next_item = first_item.find_next_sibling('li')
print(next_item.text)  # 输出：项目二
  • 前后节点：
description = soup.find('p', class_='description')
previous_node = description.find_previous()
print(previous_node)  # 输出 <h1 id="main-heading">欢迎来到示例页面</h1>
4. 修改和操作元素

我们还可以修改 HTML 内容：

  • 修改标签内容：
heading_tag.string = 'Hello, Beautiful Soup!'
print(heading_tag)  # 修改后的 h1 标签
  • 添加新元素：
new_tag = soup.new_tag('p')
new_tag.string = '这是一个新段落。'
soup.body.append(new_tag)
print(soup.body)  # 输出包含新段落的 body

进阶操作

1. CSS 选择器

除了基本的查找方法，Beautiful Soup 还支持 CSS 选择器：

link_tag = soup.select_one('.link')
print(link_tag['href'])  # 输出：https://example.comlist_items = soup.select('ul > li')
for item in list_items:print(item.text)
# 输出：
# 项目一
# 项目二
# 项目三
2. 处理复杂的 HTML 结构

Beautiful Soup 提供了灵活的解析和处理复杂 HTML 结构的能力。例如，处理嵌套的结构和动态内容：

nested_html = """
<div class="outer"><div class="inner"><p>嵌套内容</p></div>
</div>
"""nested_soup = BeautifulSoup(nested_html, 'lxml')
inner_div = nested_soup.select_one('.outer .inner')
print(inner_div.p.text)  # 输出：嵌套内容

总结

Beautiful Soup 是一个功能强大的网页解析工具，适合初学者快速上手和精通。本文介绍了如何安装和使用 Beautiful Soup 进行基本的网页解析操作，包括查找元素、遍历解析树、修改和操作元素等。通过这些示例和操作，你可以轻松地从网页中提取所需的数据，进行进一步的分析和处理。

希望本文对你有所帮助，Happy Scraping!

相关文章：

Beautiful Soup 入门指南：从零开始掌握网页解析

Beautiful Soup 入门指南&#xff1a;从零开始掌握网页解析 前言 在数据驱动的时代&#xff0c;网页数据是非常宝贵的资源。很多时候我们需要从网页上提取数据&#xff0c;进行分析和处理。Beautiful Soup 是一个非常流行的 Python 库&#xff0c;可以帮助我们轻松地解析和提…...

编程日记 2025/1/28 12:25:08

网络通信---MCU移植LWIP

使用的MCU型号为STM32F429IGT6&#xff0c;PHY为LAN7820A 目标是通过MCU的ETH给LWIP提供输入输出从而实现基本的Ping应答 OK废话不多说我们直接开始 下载源码 LWIP包源码&#xff1a;lwip源码 -在这里下载 ST官方支持的ETH包&#xff1a;ST-ETH支持包 这里下载 创建工程 …...

编程日记 2025/1/28 12:24:07

Go-并行编程新手指南

Go 并行编程新手指南 在Go语言中&#xff0c;并行编程是充分利用多核CPU资源、提升程序性能的重要手段。它的核心概念包括goroutine和channel&#xff0c;这些特性使得Go在处理并发任务时表现出色。 goroutine&#xff1a;轻量级的并发执行单元 goroutine是Go并行编程的基础…...

编程日记 2025/1/28 12:21:56

基于Django的个人博客系统的设计与实现

【Django】基于Django的个人博客系统的设计与实现&#xff08;完整系统源码开发笔记详细部署教程&#xff09;✅ 目录 一、项目简介二、项目界面展示三、项目视频展示 一、项目简介 系统采用Python作为主要开发语言&#xff0c;结合Django框架构建后端逻辑&#xff0c;并运用J…...

编程日记 2025/1/28 12:16:49

Python爬虫获取custom-1688自定义API操作接口

一、引言 在电子商务领域&#xff0c;1688作为国内领先的B2B平台&#xff0c;提供了丰富的API接口&#xff0c;允许开发者获取商品信息、店铺信息等。其中&#xff0c;custom接口允许开发者进行自定义操作&#xff0c;获取特定的数据。本文将详细介绍如何使用Python调用1688的…...

编程日记 2025/1/28 12:10:41

kaggle-ISIC 2024 - 使用 3D-TBP 检测皮肤癌-学习笔记

问题描述&#xff1a; 通过从 3D 全身照片 (TBP) 中裁剪出单个病变来识别经组织学确诊的皮肤癌病例 数据集描述&#xff1a; 图像临床文本信息 评价指标&#xff1a; pAUC&#xff0c;用于保证敏感性高于指定阈值下的AUC 主流方法分析&#xff08;文本&#xff09; 基于CatBoo…...

编程日记 2025/1/28 12:09:40

滤波电路汇总

0、前言 1. 引言 滤波电路是电子系统中不可或缺的组成部分，其主要功能是选择性地通过或衰减特定频率范围内的信号。在现代电子技术中，滤波电路广泛应用于信号处理、通信系统、音频设备、电源设计等多个领域。通过滤波，可以去除信号中的噪声和干扰，提高信号的质量和稳定性…...

编程日记 2025/1/28 12:05:22

1.Template Method 模式

模式定义 定义一个操作中的算法的骨架&#xff08;稳定&#xff09;&#xff0c;而将一些步骤延迟&#xff08;变化)到子类中。Template Method 使得子类可以不改变&#xff08;复用&#xff09;一个算法的结构即可重定义&#xff08;override 重写&#xff09;该算法的某些特…...

编程日记 2025/1/28 12:04:20

MySQL分表自动化创建的实现方案(存储过程、事件调度器)

《MySQL 新年度自动分表创建项目方案》 一、项目目的 在数据库应用场景中&#xff0c;随着数据量的不断增长&#xff0c;单表存储数据可能会面临性能瓶颈&#xff0c;例如查询、插入、更新等操作的效率会逐渐降低。分表是一种有效的优化策略&#xff0c;它将数据分散存储在多…...

编程日记 2025/1/28 12:02:18

基于回归分析法的光伏发电系统最大功率计算simulink建模与仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 5.完整工程文件 1.课题概述 基于回归分析法的光伏发电系统最大功率计算simulink建模与仿真。选择回归法进行最大功率点的追踪&#xff0c;使用光强和温度作为影响因素&#xff0c;电压作为输出进行建模。…...

编程日记 2025/1/28 12:01:09

计算机毕业设计【任务书】怎么写？

1. 什么是毕业设计任务书 毕业设计任务书是学生在毕业设计初期向指导教师提交的文档&#xff0c;主要用于说明毕业设计的选题、研究内容、目标、方法、进度安排等。 2. 撰写任务书的步骤 2.1 确定选题 选题是撰写任务书的第一步。选题应结合自身兴趣、专业方向和实际应用需…...

编程日记 2025/1/28 11:57:03

GRAPHARG——学习

20250106 项目git地址&#xff1a;https://github.com/microsoft/graphrag.git 版本&#xff1a;1.2.0 ### This config file contains required core defaults that must be set, along with a handful of common optional settings. ### For a full list of available setti…...

编程日记 2025/1/28 11:52:57

【Rust自学】15.6. RefCell与内部可变性：“摆脱”安全性限制

题外话&#xff0c;这篇文章一共4050字&#xff0c;是截止到目前为止最长的文章&#xff0c;如果你能坚持读完并理解&#xff0c;那真的很强&#xff01; 喜欢的话别忘了点赞、收藏加关注哦&#xff08;加关注即可阅读全文&#xff09;&#xff0c;对接下来的教程有兴趣的可以…...

编程日记 2025/1/28 11:44:36

14.模型，纹理，着色器

模型、纹理和着色器是计算机图形学中的三个核心概念&#xff0c;用通俗易懂的方式来解释&#xff1a; 1. 模型&#xff1a;3D物体的骨架 通俗解释&#xff1a; 模型就像3D物体的骨架&#xff0c;定义了物体的形状和结构。 比如&#xff0c;一个房子的模型包括墙、屋顶、窗户等…...

编程日记 2025/1/28 11:40:27

【C语言分支与循环结构详解】

目录 ---------------------------------------begin--------------------------------------- 一、分支结构 1. if语句 2. switch语句 二、循环结构 1. for循环 2. while循环 3. do-while循环 三、嵌套结构 结语 -----------------------------------------end----…...

编程日记 2025/1/28 11:38:09

新项目上传gitlab

Git global setup git config --global user.name “FUFANGYU” git config --global user.email “fyfucnic.cn” Create a new repository git clone gitgit.dev.arp.cn:casDs/sawrd.git cd sawrd touch README.md git add README.md git commit -m “add README” git push…...

编程日记 2025/1/28 11:35:53

qt-QtQuick笔记之常见项目类简要介绍

qt-QtQuick笔记之常见项目类简要介绍 code review! 文章目录 qt-QtQuick笔记之常见项目类简要介绍1.QQuickItem2.QQuickRectangle3.QQuickImage4.QQuickText5.QQuickBorderImage6.QQuickTextInput7.QQuickButton8.QQuickSwitch9.QQuickListView10.QQuickGridView11.QQuickPopu…...

编程日记 2025/1/28 11:23:20

Continuous Batching 连续批处理

原始论文题目： Continuous Batching — ORCA: a distributed serving system for Transformer-based generative models 关键词： Continuous Batching， iteration-level scheduling， selective batching 1.迭代级调度(iteration-level scheduling) Orca系统又由几个关键…...

编程日记 2025/1/28 11:22:16

海外问卷调查渠道查如何设置：最佳实践+示例

随着经济全球化和一体化进程的加速&#xff0c;企业间的竞争日益加剧&#xff0c;为了获得更大的市场份额&#xff0c;对企业和品牌而言&#xff0c;了解受众群体的的需求、偏好和痛点才是走向成功的关键。而海外问卷调查才是获得受众群体痛点的关键&#xff0c;制作海外问卷调…...

编程日记 2025/1/28 11:19:57

把本地搭建的hexo博客部署到自己的服务器上

配置远程服务器的git 安装git 安装依赖工具包 yum install -y curl-devel expat-devel gettext-devel openssl-devel zlib-devel安装编译工具 yum install -y gcc perl-ExtUtils-MakeMaker package下载git&#xff0c;也可以去官网下载了传到服务器上 wget https://www.ke…...

编程日记 2025/1/28 11:18:52

从PUMA560到你的项目：手把手教你将经典DH建模流程迁移到自定义机械臂

从PUMA560到自定义机械臂&#xff1a;DH建模实战迁移指南 当机械臂从教科书案例走向真实项目时&#xff0c;最令人头疼的莫过于面对一个全新构型却不知如何下手。本文将以工业界经典的PUMA560为跳板&#xff0c;拆解一套可迁移的DH建模方法论&#xff0c;带您跨越从理论到实践的…...

编程新知 2026/5/17 10:24:22

如何用nmrpflash拯救你的Netgear路由器：从“变砖“到重生的完整指南

如何用nmrpflash拯救你的Netgear路由器&#xff1a;从"变砖"到重生的完整指南 【免费下载链接】nmrpflash Netgear Unbrick Utility 项目地址: https://gitcode.com/gh_mirrors/nmr/nmrpflash 当你的Netgear路由器固件升级失败、意外断电或系统崩溃后无法启动…...

编程新知 2026/5/17 9:38:38

如何用PCL2启动器打造完美的Minecraft模组体验：从零到精通的完整指南

如何用PCL2启动器打造完美的Minecraft模组体验&#xff1a;从零到精通的完整指南 【免费下载链接】PCL Minecraft 启动器 Plain Craft Launcher&#xff08;PCL&#xff09;。 项目地址: https://gitcode.com/gh_mirrors/pc/PCL 你是否厌倦了每次启动Minecraft都要手动配…...

编程新知 2026/5/17 9:36:00

如何快速掌握openpilot：从零到精通的自动驾驶系统终极指南

如何快速掌握openpilot&#xff1a;从零到精通的自动驾驶系统终极指南 【免费下载链接】openpilot openpilot is an operating system for robotics. Currently, it upgrades the driver assistance system on 300 supported cars. 项目地址: https://gitcode.com/GitHub_Tre…...

编程新知 2026/5/17 9:26:55

ViGEmBus终极指南：Windows游戏手柄模拟驱动的完整解决方案

ViGEmBus终极指南&#xff1a;Windows游戏手柄模拟驱动的完整解决方案 【免费下载链接】ViGEmBus Windows kernel-mode driver emulating well-known USB game controllers. 项目地址: https://gitcode.com/gh_mirrors/vi/ViGEmBus 你是否曾经遇到过这样的情况&#xff…...

编程新知 2026/5/17 8:56:13

DeepSeek LeetCode 2421. 好路径的数目 Python3实现

给你 Python3 版本的代码&#xff0c;思路和之前的 Java 实现一致&#xff1a; 完整代码 python class Solution: def numberOfGoodPaths(self, vals: List[int], edges: List[List[int]]) -> int: n len(vals) # 1. 构建邻接表 gr…...

编程新知 2026/5/17 7:40:09

PCL2启动器离线登录按钮消失？5分钟快速修复指南

PCL2启动器离线登录按钮消失&#xff1f;5分钟快速修复指南 【免费下载链接】PCL Minecraft 启动器 Plain Craft Launcher&#xff08;PCL&#xff09;。 项目地址: https://gitcode.com/gh_mirrors/pc/PCL 你是否遇到过PCL2启动器离线登录按钮突然消失的困扰&#xff1…...

编程新知 2026/5/17 6:53:17

3步强力清理：Pearcleaner让你轻松解决Mac应用残留文件问题

3步强力清理&#xff1a;Pearcleaner让你轻松解决Mac应用残留文件问题 【免费下载链接】Pearcleaner A free, source-available and fair-code licensed mac app cleaner 项目地址: https://gitcode.com/gh_mirrors/pe/Pearcleaner 你是否曾删除Mac应用后&#xff0c;发…...

编程新知 2026/5/17 6:01:46

mg3640s,ts8080,ts8100,g5080,g3800,g4800,ix6780,ts8180报错5B00,P07,E08，5b02,1704,1700，5b04佳能V6.200,亲测有用

下载&#xff1a;点这里下载 备用下载&#xff1a;https://pan.baidu.com/s/1WrPFvdV8sq-qI3_NgO2EvA?pwd0000 常见型号如下&#xff1a; G系列 G1000、G1100、G1200、G1400、G1500、G1800、G1900、G1010、G1110、G1120、G1410、G1420、G1411、G1510、G1520、G1810、G1820、…...

编程新知 2026/5/17 5:27:29

Claude模型思维链评估框架claweval：原理、实战与高级定制指南

1. 项目概述&#xff1a;一个专为Claude模型设计的“思维链”评估框架最近在AI应用开发圈里&#xff0c;一个名为claweval的项目开始被频繁提及。如果你正在使用Anthropic的Claude系列模型&#xff08;无论是Claude 3 Opus、Sonnet还是Haiku&#xff09;来构建需要复杂推理能力…...

编程新知 2026/5/17 4:40:31