Python爬虫：BeautifulSoup的基本使用方法！
1.简介
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析“标签树”等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。
2.Beautiful Soup安装
目前,Beautiful Soup的最新版本是4.x版本，之前的版本已经停止开发，这里推荐使用pip来安装，安装命令如下：
pip install beautifulsoup4
验证安装：
from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>','html.parser')
print(soup.p.string)
执行结果如下：
Hello
注意：这里虽然安装的是beautifulsoup4这个包，但是引入的时候却是bs4，因为这个包源代码本身的库文件名称就是bs4，所以安装完成后，这个库文件就被移入到本机Python3的lib库里，识别到的库文件就叫作bs4。
因此，包本身的名称和我们使用时导入包名称并不一定是一致的。
3. BeautifulSoup库解析器
| 解析器 | 使用方法 | 条件 |
| bs4的HTML解析器 | BeautifulSoup(mk,'html.parser') | 安装bs4库 |
| lxml的HTML解析器 | BeautifulSoup(mk,'lxml') | pip install lxml |
| lxml的XML解析器 | BeautifulSoup(mk,'xml') | pip install lxml |
| html5lib的解析器 | BeautifulSoup(mk,'htmlslib') | pip install html5lib |
如果使用lxml,在初始化BeautifulSoup时，把第二个参数改为lxml即可：
from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>','lxml')
print(soup.p.string)
4. BeautifulSoup的基本用法
BeautifulSoup类的基本元素
| 基本元素 | 说明 |
| Tag | 标签，基本信息组织单元，分别用<>和</>标明开头和结尾 |
| Name | 标签的名字，<p></p>的名字是‘p’，格式：<tag>.name |
| Attributes | 标签的属性，字典形式组织，格式：<tag>.attrs |
| NavigableString | 标签内非属性字符串，<>...<>中字符串，格式：<tag>.string |
| Comment | 标签内字符串的注释部分，一种特殊的Comment类型 |
实例展示BeautifulSoup的基本用法：
>>> from bs4 import BeautifulSoup
>>> import requests
>>> r = requests.get("http://python123.io/ws/demo.html")
>>> demo = r.text
>>> demo
'<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b></p>\r\n<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>\r\n</body></html>'
>>> soup = BeautifulSoup(demo,"html.parser")
>>> soup.title #获取标题
<title>This is a python demo page</title>
>>> soup.a #获取a标签
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
>>> soup.title.string
'This is a python demo page'
>>> soup.prettify() #输出html标准格式内容
'<html>\n <head>\n <title>\n This is a python demo page\n </title>\n </head>\n <body>\n <p class="title">\n <b>\n The demo python introduces several python courses.\n </b>\n </p>\n <p class="course">\n Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\n <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">\n Basic Python\n </a>\n and\n <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">\n Advanced Python\n </a>\n .\n </p>\n </body>\n</html>'
>>> soup.a.name #每个<tag>都有自己的名字，通过<tag>.name获取
'a'
>>> soup.p.name
'p'
>>> tag = soup.a
>>> tag.attrs
{'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}
>>> tag.attrs['class']
['py1']
>>> tag.attrs['href']
'http://www.icourse163.org/course/BIT-268001'
>>> type(tag.attrs)
<class 'dict'>
>>> type(tag)
<class 'bs4.element.Tag'>
>>>
5. 标签树的遍历
标签树的下行遍历
标签树的上行遍历：遍历所有先辈节点，包括soup本身
标签树的平行遍历：同一个父节点的各节点间
实例演示：
from bs4 import BeautifulSoup
import requests
demo = requests.get("http://python123.io/ws/demo.html").text
soup = BeautifulSoup(demo,"html.parser")
#标签树的上行遍历
print("遍历儿子节点：\n")
for child in soup.body.children:print(child)print("遍历子孙节点：\n")
for child1 in soup.body.descendants:print(child1)print(soup.title.parent)
print(soup.html.parent)
for parent in soup.a.parents:if parent is None:print(parent)else:print(parent.name)
#标签树的平行遍历
print(soup.a.next_sibling)
print(soup.a.next_sibling.next_sibling)
print(soup.a.previous_sibling)
最后：如果你对Python感兴趣，想要学习Python，希望可以帮到你，一起加油！以上是给大家分享的Python全套学习资料，都是我自己学习时整理的：
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了，还有环境配置的教程，给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、入门学习视频全套
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
五、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
**学习资源已打包，需要的小伙伴可以戳这里：【学习资料】
相关文章：
Python爬虫：BeautifulSoup的基本使用方法！
1.简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析“标签树”等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup…...
【自监督学习】DINO in ICCV 2021
一、引言 论文： DINO: Emerging Properties in Self-Supervised Vision Transformers 作者： Facebook AI Research 代码： DINO 特点： 对于一张图片，该方法首先进行全局和局部的裁剪与增强并分别送入教师和学生网络&am…...
使用simulink进行esp32开发，进行串口收发数据需要注意的地方，为什么收发不成功
1，主要是因为simulink里的配置文件配置的波特率和串口接受软件配置的波特不一致导致的 2，主要有以下三个界面 a.配置文件 b.模型 模型直接选择使用的是那组串口就行了，一般情况下我们收发使用同一组就可以，这样收发模块填写的端…...
多周期路径的约束与设置原则
本节将回顾工具检查建立保持时间的原则，接下来介绍设置多周期后的检查原则。多周期命令是设计约束中常用的一个命令，用来修改默认的建立or保持时间的关系。基本语法如下 默认的建立时间与保持时间的检查方式 DC工具计算默认的建立保持时间关系是基于时钟…...
【算法】反转链表
难度：简单 题目 给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 示例： 示例1： 输入：head [1,2,3,4,5] 输出：[5,4,3,2,1] 示例2： 输入：head [] 输出…...
DevEco Studio No device 无法识别 usb 设备 - 鸿蒙
DevEco Studio IDE 版本与手机系统版本升级后出现了 USB 连接设备后 IDE 无法识别 no device 的情况出现; 解决办法 首先,确定当前 DevEco Studio 的 IDE 版本与移动设备的大版本保持一致; 其次,在版本相互匹配的情况下,查看移动设备是否开启了开发者模式与 USB 调试,具体步骤…...
WebRTC API接口教程：实现高效会议的步骤？
WebRTC api接口教程如何使用？WebRTC api接口的功能？ WebRTC无需中间服务器即可传输音视频流，为视频会议、在线教育等应用提供了强大的支持。AokSend将详细介绍如何利用WebRTC API接口实现高效会议的步骤。 WebRTC API接口教程：获…...
MinIO - 服务端签名直传（前端 + 后端 + 效果演示）
目录 开始 服务端签名直传概述 代码实现 后端实现 前端实现 效果演示 开始 服务端签名直传概述 传统的，我们有两种方式将图片上传到 OSS： a）前端请求 -> 后端服务器 -> OSS 好处：在服务端上传，更加安全…...
使用getopt处理参数
文章目录 使用getopt处理参数1. shift 命令1.1 删除一个参数1.2 删除多个参数1.3 多次执行 shift 参数1.4 参数解析示例1.5 优化处理1.6 问题处理 2. getopt 命令2.1 常用参数及示例2.2 脚本参数优化示例2.3 参数校验 3. 示例展示4. eval 命令4.1 示例示例 1示例 2示例 3示例 4…...
图像搜索技术在司法证据分析中的应用：思通数科大模型的创新实践
引言 在司法侦查过程中，图像和视频证据的分析对于案件的侦破至关重要。随着人工智能技术的快速发展，图像搜索技术已成为司法领域的关键工具。本文将探讨如何结合思通数科的大模型，利用图像搜索技术对案件中的图片或视频证据进行深度分析&…...
python使用多进程，传入多个参数？
先展示一下我的多进程代码： def process_image(image_path_list):# 获取模板以及类别名template_feature {}template_image cv2.imread(image_path_list)template_feature[curr_template_name] template_imageinput_image cv2.imread(img)template_feature[inp…...
李彦宏: 开源模型是智商税｜马斯克: OpenAI 闭源不如叫 CloseAI
在 2024 年世界人工智能大会（WAIC 2024）上，百度创始人、董事长兼首席执行官李彦宏发表对开源模型的评价。 李彦宏认为：开源模型实际上是一种智商税，而闭源模型才是人工智能（AI）行业的未来。 马…...
怎么参与场外期权？场外期权交易要注意什么？
今天带你了解怎么参与场外期权？场外期权交易要注意什么？场外期权（OTC Options）是指在交易所之外进行的期权交易。与场内期权（交易所挂牌交易）不同，场外期权交易由交易双方私下协商确定合约条款&…...
Postman脚本炼金术：高级数据处理的秘籍
🤖 Postman脚本炼金术：高级数据处理的秘籍 Postman不仅是API测试的强大工具，它的脚本功能同样能够在数据处理方面大放异彩。无论是在请求之前设置环境，还是测试后验证结果，Postman的脚本都能提供强大的数据处理能力。…...
MySQL字符串相关数据处理函数
目录 1. 转大小写 2. 截取字符串 sunstr 3. 获取字符长度 4. 字符串拼接 concat 5. 去掉空白 trim 1. 转大小写 转大写：upper() 转小写：lower() 虽然MySQL不严格区分大小写，但是我们还是需要掌握这种大小写的操作以方便学习其他…...
最近查看了一些批处理文件的写法，整理了一些基础的命令符，大佬勿喷
1.Echo 命令 打开回显或关闭请求回显功能，或显示消息。 2. 命令 表示不显示后面的命令,但是会显示结果 3.Goto和： 命令 ：定义标签，goto跳转到标签 4.Rem ::注释命令 ::不显示不执行，rem显示不执行 5.Pause 命令 暂停命…...
解决 Yarn 运行时的 Node.js 版本问题：一个详尽的指南
引言 Yarn 是一个流行的 JavaScript 包管理器，它与 Node.js 紧密集成，用于管理项目依赖。然而，在开发过程中，开发者可能会遇到 Node.js 版本不兼容的问题，这会导致 Yarn 运行时出错。本文将提供一个详细的指南&#x…...
SQL基础-DQL 小结
SQL基础-DQL 小结 学习目标：学习内容：SELECTFROMWHEREGROUP BYHAVINGORDER BY运算符ASC 和 DESC 总结 学习目标： 1.理解DQL（Data Query Language）的基本概念和作用。 2.掌握SQL查询的基本语法结构，包括SEL…...
冒泡排序与其C语言通用连续类型排序代码
冒泡排序与其C语言通用连续类型排序代码 冒泡排序冒泡排序为交换排序的一种：动图展示：冒泡排序的特性总结：冒泡排序排整型数据参考代码（VS2022C语言环境）： 冒泡排序C语言通用连续类型排序代码对比较的方式更…...
Python爬虫并输出
1. Python爬虫并输出示例 下面是一个使用Python编写的简单网络爬虫示例，该爬虫将抓取某个网页（例如，我们假设为https://example.com，但请注意实际使用时我们需要替换为一个真实且允许抓取的网站）的标题（Ti…...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下，无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作，还是游戏直播的画面实时传输，低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架，凭借其灵活的编解码、数据…...
Swift 协议扩展精进之路：解决 CoreData 托管实体子类的类型不匹配问题（下）
概述 在 Swift 开发语言中，各位秃头小码农们可以充分利用语法本身所带来的便利去劈荆斩棘。我们还可以恣意利用泛型、协议关联类型和协议扩展来进一步简化和优化我们复杂的代码需求。 不过，在涉及到多个子类派生于基类进行多态模拟的场景下，…...
渗透实战PortSwigger靶场-XSS Lab 14：大多数标签和属性被阻止
<script>标签被拦截 我们需要把全部可用的 tag 和 event 进行暴力破解 XSS cheat sheet： https://portswigger.net/web-security/cross-site-scripting/cheat-sheet 通过爆破发现body可以用 再把全部 events 放进去爆破 这些 event 全部可用 <body onres…...
前端导出带有合并单元格的列表
// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...
在四层代理中还原真实客户端ngx_stream_realip_module
一、模块原理与价值 PROXY Protocol 回溯 第三方负载均衡（如 HAProxy、AWS NLB、阿里 SLB）发起上游连接时，将真实客户端 IP/Port 写入 PROXY Protocol v1/v2 头。Stream 层接收到头部后，ngx_stream_realip_module 从中提取原始信息…...
【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）
可以使用Sqliteviz这个网站免费编写sql语句，它能够让用户直接在浏览器内练习SQL的语法，不需要安装任何软件。 链接如下： sqliteviz 注意： 在转写SQL语法时，关键字之间有一个特定的顺序，这个顺序会影响到…...
Cinnamon修改面板小工具图标
Cinnamon开始菜单-CSDN博客 设置模块都是做好的，比GNOME简单得多！ 在 applet.js 里增加 const Settings imports.ui.settings;this.settings new Settings.AppletSettings(this, HTYMenusonichy, instance_id); this.settings.bind(menu-icon, menu…...
ETLCloud可能遇到的问题有哪些？常见坑位解析
数据集成平台ETLCloud，主要用于支持数据的抽取（Extract）、转换（Transform）和加载（Load）过程。提供了一个简洁直观的界面，以便用户可以在不同的数据源之间轻松地进行数据迁移和转换。…...
【AI学习】三、AI算法中的向量
在人工智能（AI）算法中，向量（Vector）是一种将现实世界中的数据（如图像、文本、音频等）转化为计算机可处理的数值型特征表示的工具。它是连接人类认知（如语义、视觉特征）与…...
AI编程--插件对比分析：CodeRider、GitHub Copilot及其他
AI编程插件对比分析：CodeRider、GitHub Copilot及其他 随着人工智能技术的快速发展，AI编程插件已成为提升开发者生产力的重要工具。CodeRider和GitHub Copilot作为市场上的领先者，分别以其独特的特性和生态系统吸引了大量开发者。本文将从功…...