python 爬虫篇(3)----＞Beautiful Soup 网页解析库的使用(包含实例代码)
Beautiful Soup 网页解析库的使用
文章目录
- Beautiful Soup 网页解析库的使用
- 前言
- 一、安装Beautiful Soup 和 lxml
- 二、Beautiful Soup基本使用方法
- 标签选择器
- 1 .string --获取文本内容
- 2 .name --获取标签本身名称
- 3 .attrs[] --通过属性拿属性的值
- 标准选择器
- find_all( name , attrs , recursive , text , **kwargs )
- text=() 根据文本值选择
- find( name , attrs , recursive , text , **kwargs )
- CSS选择器
- 获取属性的值
- 总结
前言
大家好,今天我们来说一说爬虫中比较常用的一种解析数据的网页解析库—Beautiful Soup 的使用.可以从html网页中提取出我们想要的数据,比re正则方便而且还不容易出错,所以是爬虫中的得力助手.
beautiful soup支持多种解析器 例如’XML’ .‘HTML’ 等等
以下是beautiful soup所支持的解析器
一、安装Beautiful Soup 和 lxml
win + r 输入cmd 在终端中输入: pip install BeautifulSoup4 再输入 pip install lxml
注意: 如果出现爆红 或者警告 尝试使用镜像源下载 (以前的文章说过)
二、Beautiful Soup基本使用方法
标签选择器
1 .string --获取文本内容
h = """
<html><head><title>The Dormouse's story</title></head><body><p class="title" name="dromouse"><b><span>The Dormouse's story</span></b></p><p class="story">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;and they lived at the bottom of a well.</p><p class="story">...</p>
"""# 1，导包
from bs4 import BeautifulSoup
#,2，实例化对象
soup = BeautifulSoup(h, 'lxml') # 参数1：要解析的内容 参数2：解析器# 通过标签选取，会返回包含标签本身及其里面的所有内容
print(soup.head) # 包含head标签在内的所有内容
print(soup.p) # 返回匹配的第一个结果# .string是属性,作用是获取字符串文本
print(soup.title.string)
运行结果:
<head><title>The Dormouse's story</title></head><p class="title" name="dromouse"><b><span>The Dormouse's story</span></b></p>The Dormouse's story
2 .name --获取标签本身名称
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="siste相关文章：
python 爬虫篇(3)----＞Beautiful Soup 网页解析库的使用(包含实例代码)
Beautiful Soup 网页解析库的使用 文章目录 Beautiful Soup 网页解析库的使用前言一、安装Beautiful Soup 和 lxml二、Beautiful Soup基本使用方法标签选择器1 .string --获取文本内容2 .name --获取标签本身名称3 .attrs[] --通过属性拿属性的值标准选择器find_all( name , at…...
第十二周学习报告
比赛 参加了一场 div 2 ，B 题，C 题没写出来，B 是一个排序去重＋双指针，C题是要观察出一个数学结论（因为数据范围太大，我暴力做直接超时了） 排 6253 ，表现分是 998 &…...
Redis面试题整理（持续更新）
1. 缓存穿透？ 缓存穿透是指查询一个一定不存在的数据，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到 DB 去查询，可能导致DB挂掉，这种情况大概率是遭到了攻击。 解决方案： …...
一周学会Django5 Python Web开发-Django5 Hello World编写
锋哥原创的Python Web开发 Django5视频教程： 2024版 Django5 Python web开发 视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili2024版 Django5 Python web开发 视频教程(无废话版) 玩命更新中~共计14条视频，包括：2024版 Django5 Python we…...
讲解用Python处理Excel表格
我们今天来一起探索一下用Python怎么操作Excel文件。与word文件的操作库python-docx类似，Python也有专门的库为Excel文件的操作提供支持，这些库包括xlrd、xlwt、xlutils、openpyxl、xlsxwriter几种，其中我最喜欢用的是openpyxl，这…...
WEB APIs（1）
变量声明const（修饰常量） const优先，如react，基本const， 对于引用数据类型，可用const声明，因为储存的是地址 何为APIs 可以使用js操作HTML和浏览器 分类：DOM（文档对象…...
C++重新入门-基本输入输出
C 的 I/O 发生在流中，流是字节序列。如果字节流是从设备（如键盘、磁盘驱动器、网络连接等）流向内存，这叫做输入操作。如果字节流是从内存流向设备（如显示屏、打印机、磁盘驱动器、网络连接等），这…...
【C语言】解析刘谦春晚魔术《守岁共此时》
今年的春晚上刘谦表演了魔术《守岁共此时》，台上台下积极互动（尤其是小尼），十分的有趣。刘谦老师的魔术不仅仅是他的高超手法，还有这背后的严谨逻辑，下面我们来用C语言来解析魔术吧。 源代码 #define _CRT…...
剑指offer——数值的整数次方
目录 1. 题目描述2. 一般思路2.1 有问题的思路2.2 全面但不高效的思路2.3 面试小提示 3. 全面又高效的思路 1. 题目描述 题目:实现函数 double Power(double base,int exponent)，求base 的exponent 次方。不得使用库函数，同时不需要考虑大数问题 2. 一般…...
Tied Block Convolution: 具有共享较薄滤波器的更简洁、更出色的CNN
摘要 https://arxiv.org/pdf/2009.12021.pdf 卷积是卷积神经网络（CNN）的主要构建块。我们观察到，随着通道数的增加，优化后的CNN通常具有高度相关的滤波器，这降低了特征表示的表达力。我们提出了Tied Block Convolutio…...
算法沉淀——BFS 解决 FloodFill 算法（leetcode真题剖析）
算法沉淀——BFS 解决 FloodFill 算法 01.图像渲染02.岛屿数量03.岛屿的最大面积04.被围绕的区域 BFS（广度优先搜索）解决 Flood Fill 算法的基本思想是通过从起始点开始，逐层向外扩展，访问所有与起始点相连且具有相同特性…...
wordpress外贸成品网站模板
首页大图slider轮播，橙色风格的wordpress外贸网站模板 https://www.zhanyes.com/waimao/6250.html 蓝色经典风格的wordpress外贸建站模板 https://www.zhanyes.com/waimao/6263.html...
如何使用六图一表七种武器
六图一表七种武器用于质量管理： 描述当遇到问题时应该用那张图来解决： 一、如果题目说出了质量问题需要找原因？ 解：用因果图，因果图也称石川图或鱼骨图 二、如果要判断过程是否稳定受控？ 解：…...
阿里云游戏服务器租用费用价格组成，费用详单
阿里云游戏服务器租用价格表：4核16G服务器26元1个月、146元半年，游戏专业服务器8核32G配置90元一个月、271元3个月，阿里云服务器网aliyunfuwuqi.com分享阿里云游戏专用服务器详细配置和精准报价： 阿里云游戏服务器租用价格表 阿…...
【C++】C++11上
C11上 1.C11简介2.统一的列表初始化2.1 {} 初始化2.2 initializer_list 3.变量类型推导3.1auto3.2decltype3.3nullptr 4.范围for循环5.final与override6.智能指针7. STL中一些变化8.右值引用和移动语义8.1左值引用和右值引用8.2左值引用与右值引用比较8.3右值引用使用场景和意义…...
【前端高频面试题--git篇】
🚀 作者 ：“码上有前” 🚀 文章简介 ：前端高频面试题 🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬 前端高频面试题--git篇 往期精彩内容常用命令git add 和 git stage 有什么区别怎么使用git连接…...
c++创建对象
c创建对象 1.声明一个对象，然后使用默认构造函数来创建对象： class MyClass { public:MyClass() {// 构造函数代码} };int main() {MyClass obj; // 声明并创建一个对象return 0; }2.使用new和指针动态创建对象：不会自动释放 使用 new 运算…...
软件实例分享，洗车店系统管理软件会员卡电子系统教程
软件实例分享，洗车店系统管理软件会员卡电子系统教程 一、前言 以下软件教程以 佳易王洗车店会员管理软件V16.0为例说明 软件文件下载可以点击最下方官网卡片——软件下载——试用版软件下载 1、会员卡号可以绑定车牌号或手机号 2、卡号也可以直接使用手机号&a…...
【Docker进阶】镜像制作-用Dockerfile制作镜像（一）
进阶一 docker镜像制作 文章目录 进阶一 docker镜像制作用dockerfile制作镜像dockerfile是什么dockerfile格式为什么需要dockerfileDockerfile指令集合FROMMAINTAINERLABELCOPYENVWORKDIR 用dockerfile制作镜像 用快照制作镜像的缺陷： 黑盒不可重复臃肿 docker…...
数据密集型应用系统设计
数据密集型应用系统设计 原文完整版PDF：https://pan.quark.cn/s/d5a34151fee9 这本书的作者是少有的从工业界干到学术界的牛人，知识面广得惊人，也善于举一反三，知识之间互相关联，比如有个地方把读路径比作programming …...
从机房搬服务器到写代码上云：一个传统运维的十年转型路，我如何成了SRE？
从物理机到云原生：一位技术人的十年转型实战笔记 运维行业的变革速度远超许多人想象。十年前，我还在机房亲手插拔网线、用KVM切换器调试服务器；如今，我的日常工作已经变成了编写自动化部署脚本和设计分布式系统监控方案。这不是简…...
gomicro如何安装部暑
根据最新官方文档，以下是 go-micro（v5 最新版） 的完整安装与部署指南。目前最新稳定版本为 v5.16.0，推荐使用特定版本号安装以避免模块路径冲突。---一、环境准备 要求 说明 Go Go 1.21（建议最新版） …...
古典戏曲研究新范式，NotebookLM+《牡丹亭》原始刻本实测：自动生成曲牌-情感-舞台调度三维映射表
更多请点击： https://intelliparadigm.com 第一章：NotebookLM戏剧研究辅助的范式革命 传统戏剧研究长期依赖人工文本细读、跨剧目比对与历史语境重建，耗时冗长且易受主观经验局限。NotebookLM 的引入，标志着从“线性阅读—笔记摘…...
HoRain云--Skills 工作原理
🎬 HoRain 云小助手：个人主页 ⛺️生活的理想，就是为了理想的生活! ⛳️ 推荐 前些天发现了一个超棒的服务器购买网站，性价比超高，大内存超划算！忍不住分享一下给大家。点击跳转到网站。 目录 ⛳️ 推荐 …...
基于改进型PCNN的不规则图像自适应分割算法研究
基于改进型PCNN的不规则图像自适应分割算法研究根据论文中的相关内容，以下是使用不同方法解决图像分割问题并进行改进的研究：冯登超等人提出了基于改进型脉冲耦合神经网络（PCNN）的自适应分割算法。他们在原有PCNN模型的基础上对神…...
为什么MASA全家桶汉化包能彻底改变你的Minecraft模组体验？
为什么MASA全家桶汉化包能彻底改变你的Minecraft模组体验？ 【免费下载链接】masa-mods-chinese 一个masa mods的汉化资源包 项目地址: https://gitcode.com/gh_mirrors/ma/masa-mods-chinese 还在为MASA模组复杂的英文界面而头疼吗？作为中文Minec…...
MIMO AONN架构：量子干涉实现超低功耗光学神经网络
1. MIMO AONN架构的核心价值光学神经网络（AONN）正在突破传统电子计算的物理极限。在传统电子神经网络中，非线性激活函数需要消耗大量能量进行电子-光子转换，而基于量子干涉的光学非线性机制可以直接在光域实现这一关键操作。我们实…...
别再写一堆CASE WHEN了！PostgreSQL里COALESCE和NULLIF这两个函数，帮你把SQL写得又短又稳
告别冗长SQL：用PostgreSQL的COALESCE和NULLIF重构条件逻辑 在数据处理的世界里，SQL就像是我们与数据库对话的语言。但你是否经常遇到这样的情况：为了处理各种空值和边界条件，你的SQL查询变成了一个由无数CASE WHEN语句组成的庞然大…...
对比直接使用厂商API，Taotoken在账单清晰度上的优势
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 对比直接使用厂商API，Taotoken在账单清晰度上的优势 在集成多个大语言模型到业务中时，开发者或团队通常会面…...
magnetW磁力聚合搜索工具：一站式资源发现神器
magnetW磁力聚合搜索工具：一站式资源发现神器 【免费下载链接】magnetW [已失效，不再维护] 项目地址: https://gitcode.com/gh_mirrors/ma/magnetW 磁力搜索工具magnetW是一款基于Electron框架开发的跨平台桌面应用，专为技术爱好者和普…...