掌握Python的X篇_30_使用python解析网页HTML
本篇将会介绍beutifulsoup4模块，可以用于网络爬虫、解析HTML和XML，对于没有接触过前端，不了解HTML是如何工作的，需要先解释一下什么事HTML。
1. HTML
网页中的各种布局等的背后都是非常简单的纯文本格式，那种格式称为HTML。
关于HTML不用刻意的去学习，所谓的HTML就是一堆<>括起来的符合或单词，不同的单词就是标签，其对应了不同的作用。
如果在网络上进行通信，获取网页，实际上不会得到我们打开的网页的界面，得到的就是html的代码，而我们关心的可能就是HTML中的一部内容，就需要对HTTML也就是字符串进行解析，找出我们需要的部分。通过python的字符串来进行处理也是可行的，但是考虑到处理的效率，也有相应的开发的模块。
2. 安装bs4
pip install beutifulsoup4
官网文档(中文版):
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
3. 使用BeautifulSoup解析HTML实例
使用的HTML代码如下：来自于官方文档中的范例：a、p均为标签
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p><p class="story">...</p>
"""
将其拷贝到一个txt文件，改后缀为html，利用浏览器打开就是一个网页如下：
- bs4中提供了BeautifulSoup的方法，它可以将html字符串，转化为一个soup对象。
- soup对象中提供了各种属性方法，对应了htm文档，使得我们可以很方便地提取相关信息
以下演示如何进行安装、导入模块、进行HTML的缩进美化
C:\Users\>pip install beautifulsoup4
C:\Users\>ipython
In [1]: from bs4 import BeautifulSoup
In [2]: html_doc = """...: <html><head><title>The Dormouse's story</title></head>...: <body>...: <p class="title"><b>The Dormouse's story</b></p>...:...: <p class="story">Once upon a time there were three little sisters; and their names were...: <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,...: <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and...: <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;...: and they lived at the bottom of a well.</p>...:...: <p class="story">...</p>...: """In [3]: soup = BeautifulSoup(html_doc, 'html.parser') #转变为soup对象In [4]: print(soup.prettify()) #把原有HTML源码进行缩进美化
<html><head><title>The Dormouse's story</title></head><body><p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon a time there were three little sisters; and their names were<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>and<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p><p class="story">...</p></body>
</html>构造得到的soup对象中提供了各种操作的方法。
find_all：找到所有的标签，返回一个list，list中的每个元素，是标签对象。
In [5]: soup.find_all("a")
Out[5]:
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]In [6]: for i in soup.find_all("a"):...: print(i)...:
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>In [7]: mylist = soup.find_all("a")In [8]: tag0 = mylist[0]In [9]: tag0
Out[9]: <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>In [10]: tag0['href'] #标签类似dict的封装，得到href的value
Out[10]: 'http://example.com/elsie'
In [11]: for item in mylist:...: print(item["href"])...:
http://example.com/elsie
http://example.com/lacie
http://example.com/tillie4.学习视频地址：使用python解析网页HTML
相关文章：
掌握Python的X篇_30_使用python解析网页HTML
本篇将会介绍beutifulsoup4模块，可以用于网络爬虫、解析HTML和XML，对于没有接触过前端，不了解HTML是如何工作的，需要先解释一下什么事HTML。 1. HTML 网页中的各种布局等的背后都是非常简单的纯文本格式，那种格式称为…...
广联达OA前台sql注入+后台文件上传漏洞复现分析
文章目录 前言资产特征前台sql注入后台文件上传解决办法 前言 最近看到广联达OA的前端sql注入和后端文件上传漏洞联动的poc 广联达科技股份有限公司以建设工程领域专业应用为核心基础支撑，提供一百余款基于“端云大数据”产品/服务，提供产业大数据、产业…...
No view found for id 0x7f0901c3 for fragment解决以及线上bug排查技巧
情景再现 开发这么久，不知道你们是否也经历过这样的情况，测试或者用户，反馈app闪退，结果你自己打开开发工具，去调试，一切正常，然后闪退还是存在，只是在开发环境中不能重现。这种情况…...
腾讯云CVM服务器竞价实例是什么？和按量计费有什么区别？
腾讯云服务器CVM计费模式分为包年包月、按量计费和竞价实例，什么是竞价实例？竞价实例和按量付费相类似，优势是价格更划算，缺点是云服务器实例有被自动释放风险，腾讯云服务器网来详细说下什么是竞价实例？以及…...
Kali Linux助您网络安全攻防实战
Kali Linux：黑客与防御者的神器 Kali Linux是一款专为网络安全测试和攻防实践而设计的操作系统。它汇集了大量的安全工具，可以用于渗透测试、漏洞扫描、密码破解等任务，不仅为黑客提供了强大的攻击能力，也为安全防御者提供了测试和…...
JavaEE初阶：多线程 - 编程
1.认识线程 我们在之前认识了什么是多进程，今天我们来了解线程。 一个线程就是一个 "执行流". 每个线程之间都可以按照顺讯执行自己的代码. 多个线程之间 "同时" 执行 着多份代码. 引入进程这个概念，主要是为了解决并发编程这样的…...
一种多策略下RabbitMQ的延时队列实现
1.为什么会用到延时队列? 场景: 最近在开发一款系统中遇到这样一个场景,A系统开通套餐需要把套餐信息以邮件的形式发送给相关工作人员,经过人工审核通过后,在B系统里面开通,A系统会调B系统套餐列表接口查询套餐是否开通成功,开通成功则从A系统去完成订单,假如超过设定时间未开…...
解密 AI 客服；在不同硬件设备上运行大型语言模型的可能性
🦉 AI新闻 🚀 微软必应首席执行官称必应聊天优于OpenAI的GPT-4，但成本更高 摘要：微软必应的首席执行官米哈伊尔・帕拉欣表示，必应聊天表现优于OpenAI的GPT-4，但使用了更高成本的检索增强推理技术。必应聊…...
问题:【IntelliJ IDEA】解决idea自动声明变量加finall修饰符问题
问题:【IntelliJ IDEA】解决idea自动声明变量加finall修饰符问题 场景复现 1 new String() 2 快捷方式生成变量 final修饰的 final String s new String();步骤一：确保settings配置信息 settings-----》Editor------》Code Style--------》java下的这两个选项不…...
SpringBoot基于Zookeeper实现分布式锁
文章目录 问题背景前言实现搭建Zookeeper容器引入依赖ZK客户端的配置类ZK客户端的工厂类注入bean构建测试类 问题背景 研究分布式锁，基于ZK实现，需要整合到SpringBoot使用 前言 参考自SpringBoot集成Curator实现Zookeeper基本操作，Zookeeper入…...
AT89C51单片机实现单片机串口互动（中断方式，单片机--单片机，应答）
说一下功能：客户机发送0x01到服务机 2服务单片机应答0xf2到客户机 3客户机接收到0xf2,发送信息153432这6个数字到服务机 4client发送完信息后发送0xaa结束通信 5server接收到0xaa后回复0xaa结束通信，从此老死不相往来 看代码： //发送端…...
九耶丨阁瑞钛伦特-请说说你在工作中的PRD文档是如何撰写的？
1、背景说明（解释清楚为什么要做这样一件事，以及做这件事的价值，先把观点拉齐，才方便接下来的工作开展） 简要介绍与项目相关的背景信息、项目要满足的用户需求、开展项目的主要原因、项目期望上线时间、项目涉及的具体…...
Android免打包多渠道统计如何实现
摘要： 实际上只要完成1-2步即可实现多渠道打包，这也意味着，只要每次更新App时给出一个原始包，运营人员就能在后台自己进行操作管理，简单快捷到全程无需开发人员参与。 我们都知道，Android 市场被分割成几十…...
Apipost CICD怎么配置？
配置CI/CD Apipost自动化测试新增CI/CD，配置运行环境、循环次数、间隔停顿后点击保存会生成命令，在安装Apipost的服务器中输入命令即可运行测试脚本。 自动化测试 创建自动化测试脚本在创建好的测试用例中选择「CICD」，点击新建，…...
utf-8和utf-8 mb4区别
UTF-8（Unicode Transformation Format-8）和UTF-8MB4（UTF-8 Multibyte 4-byte）是字符编码方案，用于表示 Unicode 字符集中的字符。它们之间的主要区别在于编码范围。 UTF-8：UTF-8 是一种变长编码方式&#x…...
考研 408 | 【计算机网络】 应用层
导图 网络应用模型 客户/服务器（c/s）模型 P2P模型 DNS 域名 域名服务器 域名解析过程 文件传输协议FTP FTP服务器和用户端 FTP工作原理 电子邮件 电子邮件的信息格式 组成结构 邮件服务器的功能： 1.发送&接收邮件 2.给发件人报告邮…...
设计模式-单例
概述 在类加载后，整个系统只有一个实例类 饿汉式 public class Mg1 {private static final Mg1 INSTANCE new Mg1();private Mg1(){}public static Mg1 getInstance(){return INSTANCE;}public static void main(String[] args) {System.out.println(Mg1.getIns…...
mysql截取最后一个字符之前的数据
1、mysql截取最后一个字符之前的数据 select --截取斜杠之前的数据REVERSE(SUBSTR(REVERSE(SPNH-dfg-2012) ; --截取斜杠后的数据 INSTR(REVERSE(SPNH-fg-2012),-)1))2、mysql获取最后一个字符后的数据 select SUBSTRING_INDEX(SPNH-dfg-2012,-,-1) 3、mysql更新某个字段…...
Flutter 中，ListView 中需要放置 ListView 需要怎么处理才高效？
问题及场景 ListView 是 Flutter 开发者第一个学习到的 Widget，因为它可以滑动。一切都会运行得很好，直到 ListView 中的 Item 本身也是一个 ListView。你可能会看到 Flutter 建议你将内部的 ListView 的ShrinkWrap 属性设置为 True。虽然错误消除了&am…...
Appium Desktop安装
【提示：官方已不再维护，建议命令行方式安装，但可以学习了解一下】 Appium Desktop是一款适用于Mac、Windows和Linux的应用程序，它以漂亮灵活的UI为您提供Appium自动化服务器的强大功能。它基本上是Appium Server的图形界面。您可…...
保姆级教程：手把手教你为Jetson Orin Nano刷入R36.4.4系统（从下载到开机）
从零开始：Jetson Orin Nano开发者套件系统刷入全流程实战指南 当你第一次拿到NVIDIA Jetson Orin Nano开发者套件时，那种兴奋感可能很快会被"我该如何开始"的困惑所取代。这款性能强大的边缘计算设备确实令人着迷，但如果没有正确的…...
coze-loop效果展示：看AI如何将冗长代码重构为高效简洁版本
coze-loop效果展示：看AI如何将冗长代码重构为高效简洁版本 1. 引言：AI代码优化的革命性工具 在软件开发领域，代码优化一直是一项既重要又具有挑战性的任务。传统的优化过程往往需要开发者具备深厚的算法知识和丰富的经验积累。而今天&#…...
低门槛AI视频生成新选择：opensora-hpcai本地部署与优化指南
低门槛AI视频生成新选择：opensora-hpcai本地部署与优化指南 【免费下载链接】opensora-hpcai-1_0_ms MindSpore implementation of OpenSora, an open-source project that aims to foster innovation, creativity, and inclusivity within the field of content cr…...
图像修复效率提升：设计师与开发者必备的7个开源AI模型应用技巧
图像修复效率提升：设计师与开发者必备的7个开源AI模型应用技巧 【免费下载链接】ComfyUI-BrushNet ComfyUI BrushNet nodes 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-BrushNet 在数字创作与内容修复领域，如何快速高效地消除图像瑕疵…...
破解微信小程序video组件的限制：3种禁止拖动进度条的实战方案对比
微信小程序视频播放控制深度解析：3种禁止拖动进度条的工程化方案 在知识付费和在线教育类小程序中，视频内容的完整播放率直接影响知识传递效果。但微信小程序原生video组件的enable-progress-gesture属性仅能禁用触摸手势，无法真正阻止进度条…...
告别软路由？实测ARM架构MT7981硬路由刷OpenWrt：性能、功耗与稳定性深度对比
ARM硬路由 vs x86软路由：2024年高性能网络设备终极对决 在家庭与企业网络设备的选择上，x86架构软路由长期占据着性能王座，而传统硬路由则因扩展性不足被极客们视为"玩具"。但2023年MTK发布的MT7981芯片组彻底改变了这一格局——这颗…...
图像处理中的NCC算法：从原理到优化（附Python实现对比）
图像处理中的NCC算法：从原理到优化（附Python实现对比） 在计算机视觉领域，模板匹配是一项基础而重要的技术。想象一下这样的场景：你正在开发一个工业质检系统，需要在流水线上快速识别产品上的特定标识&#…...
收藏 | 阿里字节开源Agent框架大比拼：小白程序员必看，三种思路助你入门大模型！
本文对比了阿里和字节开源的HiClaw、CoPaw和DeerFlow三个Agent框架，分析了它们在架构设计、安全模型和适用场景上的差异。HiClaw侧重多Agent协作，CoPaw聚焦个人AI助手，DeerFlow强调单Agent深度任务处理。文章还探讨了阿里组合拳与字节单点突破…...
Umi-OCR：重新定义离线文字识别的全场景解决方案
Umi-OCR：重新定义离线文字识别的全场景解决方案 【免费下载链接】Umi-OCR Umi-OCR: 这是一个免费、开源、可批量处理的离线OCR软件，适用于Windows系统，支持截图OCR、批量OCR、二维码识别等功能。 项目地址: https://gitcode.com/GitHub_Tre…...
告别手动：Python/Shell双环境实战，让Certbot自动续期通配符证书稳如泰山
Python/Shell双环境实战：Certbot自动续期通配符证书的终极方案 当你的服务器集群同时存在Python和Shell环境时，如何构建一个统一的证书自动化管理体系？这个问题困扰着许多技术负责人。通配符证书的自动续期看似简单，但在混合技术栈…...