Python爬虫---解析---BeautifulSoup
BeautifulSoup简称：bs4
作用：解析和提取数据
1. 安装：pip install bs4 或pip install bs4 -i https://pypi.douban.com/simple（使用国内镜像下载）
注意：需要安装在python解释器相同的位置,例如：D:\Program Files\Python3.11.4\Scripts
2. 导入： from bs4 import BeautifulSoup
3. 创建对象：
1）服务器响应的文件生成对象：
soup = Bequtifulsoup(response.read().decode(),'lxml')
2）本地文件生成对象 soup = BeautifulSoup(open('1.html'),'lxml')
注意:默认打开文件的编码格式gbk所以需要指定打开编码格式
4.使用：
4.1. bs4的一些函数: 1) find 2) findall 3) select
1) find：获取第一个符合条件的数据
2) findall:返回的是一个列表，且返回所有符合条件的标签，如果获取多个标签的数据，需要放在列表中
3) select：返回的是一个列表，并且会返回多个数据
4.2. 例子：
from bs4 import BeautifulSoup# 通过解析本地文件
soup = BeautifulSoup(open("1224-解析-BeautifulSoup.html", encoding="utf-8"), "lxml")
# print(soup)# 根据标签名查找节点
print(soup.a) # 获取第一个符合条件的数据的 a标签
print(soup.a.attrs) # 获取第一个a标签的属性和属性值# bs4的一些函数: 1) find 2) findall 3) select# 1) find：获取第一个符合条件的数据
print(soup.find("a")) # 获取第一个a标签
print(soup.find("a", title="a2")) # 根据title值来找到对应的标签对象
print(soup.find("a", class_="a1")) # 根据class值找到对应标签对象，注意class需要添加下划线# 2) findall:返回的是一个列表，且返回所有符合条件的标签，如果获取多个标签的数据，需要放在列表中
print(soup.find_all("a")) # 返回所有符合条件的a标签
print(soup.find_all(["a", "span"])) # 多个需要放在列表中
print(soup.find_all("li", limit=2)) # limit：查找前几个数据# 3) select：返回的是一个列表，并且会返回多个数据
print(soup.select("a"))
print(soup.select(".a1")) # 可以通过.代表class
print(soup.select("#l1")) # 可以通过#代表id
# 属性选择器------通过属性查找对应的标签
print(soup.select("li[id]")) # 查找到li标签中有id的标签
print(soup.select("li[id='l2']")) # 查找li标签中id为l2的标签
# 层级选择器
print(soup.select("div li")) # 后代选择器 div下面的li
print(soup.select("div>ul>li")) # 子代选择器
print(soup.select("a,li")) # 找到a标签和li标签的所有的对象# 节点信息：
# 1）获取节点内容
obj = soup.select("#d1")[0]
# 如果标签对象中，只有内容，那么string和get_text()都可以用
# 如果标签对象中，除了内容还有标签，那么string就获取不到数据，而get_text()可以获取到数据
print(obj.string) # None
print(obj.get_text()) # 我是第二个span
# 2）节点的属性
obj1 = soup.select("#p1")[0]
print(obj1.name) # name:标签的名字 p
print(obj.attrs) # 将属性值作为一个字典返回 {'id': 'd1'}# 3）获取节点的属性
obj2 = soup.select("#p1")[0]
print(obj2.attrs.get("class")) # ['p1']
print(obj2.get("class")) # ['p1']
print(obj2["class"]) # ['p1']html：
<!doctype html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport"content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0"><meta http-equiv="X-UA-Compatible" content="ie=edge"><title>Document</title>
</head>
<body><div><ul><li id="l1">张三</li><li id="l2">李四</li><li>王五</li><a href="" id="" class="a1">BeautifulSoup</a><span>我是span</span></ul></div><a href="" title="a2">百度</a><div id="d1"><span>我是第二个span</span></div><p id="p1" class="p1">我是p标签</p>
</body>
</html>相关文章：
Python爬虫---解析---BeautifulSoup
BeautifulSoup简称：bs4 作用：解析和提取数据 1. 安装：pip install bs4 或pip install bs4 -i https://pypi.douban.com/simple（使用国内镜像下载） 注意：需要安装在python解释器相同的位置,例如…...
Argument list too long when copying files
for i in /path/to/dir/*; do cp "$i" /path/to/other/dir/; done...
configure
configure 配置软件./configure --prefix$PWD/output CCaarch64-linux-gcc --hostaarch64-linux --enable-shared --enable-staticconfig.sub 文件 这个文件用于确定主机系统的类型，并返回与该系统相关的标识符。它包含一系列 shell 函数，用于检测主机…...
HOJ 项目部署-前端定制 默认勾选显示标签、 在线编辑器主题和字号大小修改、增加一言功能 题目AC后礼花绽放
# 项目拉取地址： https://gitee.com/himitzh0730/hoj.git # 切换到hoj-vue目录执行以下命令 #安装依赖 npm install #运行服务 npm run serve #修改代码后构建项目到dist文件夹，到服务器docker-compose.yml中修改hoj-frontend文件映射即可 npm run build…...
)
Scikit-Learn线性回归(二)
Scikit-Learn线性回归二：多项式回归 1、多项式回归2、多项式回归的原理3、Scikit-Learn多项式回归3.1、Scikit-Learn多项式回归API1、多项式回归 线性回归研究的是一个自变量与一个因变量之间的回归问题。在实际应用中，并不是所有的情景都符合线性关系，大多数情况都是非线性…...
07 Vue3框架简介
文章目录 一、Vue3简介1. 简介2. 相关网站3. 前端技术对比4. JS前端框架5. Vue核心内容6. 使用方式 二、基础概念1. 创建一个应用2. 变量双向绑定（v-model）3. 条件控制（v-if）4. 数组遍历（v-for）5. 绑定事件…...
前端八股文（js篇）
一.强制类型转换规则 首先需要了解隐式转换所调用的函数。 当程序员显示调用Boolean（value）,Number（value），String（value）完成的类型转换，叫做显示类型转换。 当通过new Boolean&…...
windows+ubuntu离线安装翻译软件有道词典
背景： 某些情况下，需要在无法连接互联网的电脑上翻译单词，句子以及段落，就需要能离线安装和翻译的翻译软件，具备一定的词库量，目前找到了《有道词典》。 windows 亲测，无法联网的win10中安装…...
DevC++ easyx实现视口编辑，在超过屏幕大小的地图上画点，与解决刮刮乐bug效果中理解C语言指针的意义
继上篇文案， DevC easyx实现地图拖动，超过屏幕大小的巨大地图的局部显示在屏幕的方法——用悬浮窗的原理来的实现一个视口-CSDN博客 实现了大地图拖动，但是当时野心不止，就想着一气能搓啥就继续搓啥，看着地图移动都搓…...
Kali Linux—借助 SET+MSF 进行网络钓鱼、生成木马、获主机shell、权限提升、远程监控、钓鱼邮件等完整渗透测试（一）
社会工程学—世界头号黑客凯文米特尼克在《欺骗的艺术》中曾提到，这是一种通过对受害者心理弱点、本能反应、好奇心、信任、贪婪等心理陷阱进行诸如欺骗、伤害等危害手段。 SET最常用的攻击方法有：用恶意附件对目标进行 E-mail 钓鱼攻击、Java Applet攻…...
时间与时间戳转换及android和ios对时间识别的区别
注意： "2021-05-01 12:53:59.55" 时间对象在 ios 中会出现 NaN-NaN1-NaN 需要将对象格式化为："2021/05/01 12:53:59.55" 可同时兼容 android 和 ios。 //将某时间转时间戳 /* var time new Date("2021-05-01 12:53:59.55&qu…...
飞天使-k8s知识点7-kubernetes升级
文章目录 验证新版本有没有问题需要安装的版本微微 1.20.6.0kubeadm upgrade plan 验证新版本有没有问题 查看可用版本的包 现有的状态 查看版本 yum list kubeadm --showduplicates |grep 1.20 yum list kubelet --showduplicates |grep 1.20 yum list kubectl --showduplic…...
【Unity游戏制作】游戏模型导入之前需要注意的三个基本点
👨💻个人主页：元宇宙-秩沅 👨💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨💻 本文由 秩沅 原创 👨💻 收录于专栏：Uni…...
三列布局 css
实现如下图的三列布局： .box {width:1400px;margin:0 auto;padding-bottom:40px;> .left {float:left;width:180px;margin-top:100px;text-align:center;}> .center {float:left;margin-top:100px;margin-left:130px;item-box {float:left;text-align:left;…...
Android开发之生命周期（App、Activity）
在Android开发中，应用程序（App）和活动（Activity）的生命周期是非常重要的概念。它们各自都有一系列的生命周期方法，这些方法会在特定的时刻被系统自动调用，以便于开发者对应用或活动进行相应的操…...
利用html2Canvas将表格下载为html
给到我的需求是点击按钮时请求后端接口，根据后端返回的数据，生成表格,并将表格的内容直接下载为html,如下图。 平常做的下载都是后端返回二进制流，这次前端做下载那就必须把页面先画出来，因为下载下来的表格在页面上是不显示的&a…...
《Git快速入门》Git分支
1.master、origin、origin/master 区别 首先搞懂git分支的一些名称区别： master ： Git 的默认分支名字。它并不是一个特殊分支、跟其它分支完全没有区别。 之所以几乎每一个仓库都有 master 分支，是因为 git init 命令默认创建它，…...
HarmonyOS应用性能与功耗云测试
性能测试 性能测试主要验证HarmonyOS应用在华为真机设备上运行的性能问题，包括启动时长、界面显示、CPU占用和内存占用。具体性能测试项的详细说明请参考性能测试标准。 性能测试支持Phone和TV设备，包格式包括Hap/App。 前提条件 已注册华为开发者帐号&a…...
【AI】人工智能本地环境集成安装
目录 1、基础安装 1.1 GPU安装 1.1.1 GPU版本支持 1.1.2 下载CUDA 1.1.3安装CUDA 1.1.4配置环境变量 1.1.5检测CUDA是否安装成功 1.2 CUDNN安装 1.2.1 下载CUDNN 1.2.2 添加配置 1.2.3验证结果 2、pytorch安装...
主流级显卡的新选择，Sparkle（撼与科技）Intel Arc A750兽人体验分享
▼前言 对于玩家而言，英特尔独显的出现不仅打破了NVIDIA与AMD双雄天下的局面，而且旗下的Arc A系列显卡还拥有不俗的做工性能以及颇具优势的价格，无论是升级或者是装新机都非常合适。如果要在Arc A系列当中选一个性能不俗，能够满足…...
树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法
树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作，无需更改相机配置。但是，一…...
java 实现excel文件转pdf | 无水印 | 无限制
文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...
将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？
Otsu 是一种自动阈值化方法，用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理，能够自动确定一个阈值，将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...
PL0语法，分析器实现！
简介 PL/0 是一种简单的编程语言，通常用于教学编译原理。它的语法结构清晰，功能包括常量定义、变量声明、过程（子程序）定义以及基本的控制结构（如条件语句和循环语句）。 PL/0 语法规范 PL/0 是一种教学用的小型编程语言，由 Niklaus Wirth 设计，用于展示编译原理的核…...
EtherNet/IP转DeviceNet协议网关详解
一，设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络，本网关连接到EtherNet/IP总线中做为从站使用，连接到DeviceNet总线中做为从站使用。 在自动…...
AI病理诊断七剑下天山，医疗未来触手可及
一、病理诊断困局：刀尖上的医学艺术 1.1 金标准背后的隐痛 病理诊断被誉为"诊断的诊断"，医生需通过显微镜观察组织切片，在细胞迷宫中捕捉癌变信号。某省病理质控报告显示，基层医院误诊率达12%-15%，专家会诊…...
与常用工具深度洞察App瓶颈)
iOS性能调优实战：借助克魔(KeyMob)与常用工具深度洞察App瓶颈
在日常iOS开发过程中，性能问题往往是最令人头疼的一类Bug。尤其是在App上线前的压测阶段或是处理用户反馈的高发期，开发者往往需要面对卡顿、崩溃、能耗异常、日志混乱等一系列问题。这些问题表面上看似偶发，但背后往往隐藏着系统资源调度不当…...
Mysql8 忘记密码重置，以及问题解决
1.使用免密登录 找到配置MySQL文件，我的文件路径是/etc/mysql/my.cnf，有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...
莫兰迪高级灰总结计划简约商务通用PPT模版
莫兰迪高级灰总结计划简约商务通用PPT模版，莫兰迪调色板清新简约工作汇报PPT模版，莫兰迪时尚风极简设计PPT模版，大学生毕业论文答辩PPT模版，莫兰迪配色总结计划简约商务通用PPT模版，莫兰迪商务汇报PPT模版，…...
k8s从入门到放弃之HPA控制器
k8s从入门到放弃之HPA控制器 Kubernetes中的Horizontal Pod Autoscaler (HPA)控制器是一种用于自动扩展部署、副本集或复制控制器中Pod数量的机制。它可以根据观察到的CPU利用率（或其他自定义指标）来调整这些对象的规模，从而帮助应用程序在负…...