week04day02(爬虫02)
<span>: 通常用于对文本的一部分进行样式设置或脚本操作。<a>: 定义超链接，用于创建链接到其他页面或资源的文本。<img>: 用于插入图像。<br>: 用于插入换行。
姓名：<input type="text" value="lisi">密码：<input type="password" ><br>性别：<input type="radio" name="sex" id='g1'> <label for="g1">男</label><input type="radio" name="sex" id='g2'> <label for="g2">女</label><br>兴趣：<input type="checkbox">篮球<input type="checkbox" />乒乓球<!--
input 会出现一个框， type的类型会决定框的类型。
type = text, 就是输入框的方框
type = radio 是只能够单选的圆框
type = checkbox 是可以多选的框
--><!DOCTYPE html>
<!-- html是以标签为单位为网页提供内容标签一共分为两类：1.双标签：有始有终 <标签名>内容</标签名> 例子：<html> 内容 </html>2.单标签：<br><meta />-->
<html><head><meta charset="utf-8" /><title>百度一下你就知道</title><link rel="icon" href="img/logo.png"></head><body><h1>welcome</h1><h2>welcome2</h2><p>走在风中今天阳光突然好温柔</p><span>基本信息</span><br><br><a href="https://fanyi.baidu.com">百度翻译</a><br>姓名：<input type="text" value="lisi">密码：<input type="password" ><br>性别：<input type="radio" name="sex" id='g1'> <label for="g1">男</label><input type="radio" name="sex" id='g2'> <label for="g2">女</label><br>兴趣：<input type="checkbox">篮球<input type="checkbox" />乒乓球</body>
</html>
一. css选择器
- .c1{} 指定class为 c1 的所有元素
- p.c1{} 同时选择标签为p且class为c1的所有元素
- .c1.c2.c3{} class为 c1 c2 c3都可以满足后面的规则
- p , .c1 , #p1{} 选择所有的p class为c1 以及id为p1的所有元素
- div c1{} div后面+空格 就表示 选择div元素内部所有具有c1的class的子孙元素 （后代，只要在后面的都是）
- div>p{} 选择div元素的直接子元素 （子代，只能在下面一个）
代码示例
<!DOCTYPE html>
<html><head><meta charset="utf-8"><title>css选择器</title><style>#header {background-color: burlywood;color: aliceblue;padding: 20px;}#content {font-size: 18px;line-height: 1.5;padding: 20px;}#footer {background-color: darkgray;}</style></head><body><div id="header"><h1>欢迎来到我的网页</h1></div><div id="content"><p>主要区域</p><p>电影的文本信息</p></div><div id="footer">©2024 ALL rights reserved</div></body>
</html>二. 获取API的数据
### 老师代码
import requests
# 注意：要更改成自己的账号的key才可以执行
# 传参的规则详见官网# API key: 77e3001618697564b156bfc856d3820b
# num： 多少条res = requests.get(url='https://apis.tianapi.com/esports/index',params={'key':'77e3001618697564b156bfc856d3820b','num':15})# print(res.status_code)
# print(res.text)result = res.json()['result']
# print(result)news_list = result['newslist']
for news in news_list:print(news['title'])print(news['ctime'])print(news['description'])### 我的部分
'''
headers={'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36'}
api-key: 82c04e57b37b96376658254d8d32dcc1
num : 多少条
'''import requests
res = requests.get(url='https://apis.tianapi.com/esports/index',params = {'key':'82c04e57b37b96376658254d8d32dcc1','num':15})
# print(res.status_code)
# print(res.text)result = res.json()['result']
#print(result)
new_list = result['newslist']
for news in new_list:print(news['title'])print(news['ctime'])print(news['description'])'''
天道好轮回？ Heroic继续对Astralis保持不败
2024-02-21 11:00
在刚刚结束的一场PGL哥本哈根MajorRMR欧洲区的赛事中，Heroic以13-7战胜Astralis，在新版本的CS中继续对这支...
欧洲RMR B组：一路顺风率先出线！C9 2-1击败Vitality
2024-02-21 11:00
欧洲RMRB组，Vitality对阵C9，图一开始C9抓住机会率先拉开比分，随后Vitality马上调整状态追上比分上半场7-5领先...
Falcons总监：租借可以让我们灵活确定参赛阵容
2024-02-21 11:00
显然很多人都为s1mple的加盟而激动不已。我很高兴Falcons能够促成此事。要说明的是：正如声明中所言，这只是参加BLAST复活...
C9经理：s1mple转会的关键在个人意愿而非钱
2024-02-21 11:00
Cloud9经理并不认同外界口中Falcons豪掷千金买下s1mple的说法。在这方面，我大胆假设，s1mple的转会关键更多的在于他...
jL：对s1mple加入Falcons毫不知情
2024-02-21 11:00
日前在和主播ohnepixel的直播连线中，NaVi选手jL分享了自己对s1mple加入Falcons一事的看法。
欧洲RMR B组：我们这边也有高手！MOUZ 2-0 Spirit
2024-02-21 11:00
欧洲RMRB组，Spirit对阵MOUZ，双方大战一触即发，争夺率先晋级的名额。经过BO3的大战，最终MOUZ以2-0击败了对手，取...
官宣：Rocket退出美洲RMR NRG有望候补
2024-02-21 11:00
昨天Rocket选手EMIYA第二次被平台因作弊封禁，同时队内其他选手也承认队伍在RMR封闭预选赛中违规有教练在旁边支招。目前Rock...
TeSeS：击败A队绝非靠运气
2024-02-21 11:00
在备受期待的比赛之后，TeSeS接受了外媒采访，谈到了他们到目前为止的Major征程，击败Astralis的感受以及对他们的第一个国际...
时隔近两年 Boombl4重返Major！
2024-02-21 11:00
在昨天晚上的比赛中，Cloud9战队2-1击败Vitality，意味着Boombl4成功晋级到了PGL哥本哈根Major当中。
KRAFTON 2023年度总销售额达19,106亿韩元 创历史新高
2024-02-20 19:00
KRAFTON公司(CEOCHKim)于1月26日公布了2023年全年及第四季度的财报业绩，并于2月8日下午召开了财报电话会议。
HLTV本周战队排名：C9与ENCE重返前十，NIP排名清零
2024-02-20 19:00
与上周相比，世界前五没有变化，第六至十名方面，曾在卡托维兹站闯进四强的沙特豪门Falcons出人意料地溃败，在RMRA组折戟，无缘P...
《豆豆的村庄》探险奇迹是什么？前期发展指南
2024-02-20 13:00
豆村奇迹分为探险奇迹和功能奇迹；接下来从新手视角，教教大家怎么解锁初级常见的几种奇迹。
《名利游戏》：一场关于选择与后果的“互动剧”现已登陆Steam
2024-02-20 13:00
2024年2月20日——在等待中充满期待的互动剧《名利游戏》终于在Steam平台上线，为广大游戏爱好者带来了一场独特的人生冒险。这...
欧洲RMR B组：砍瓜切菜，小蜜蜂13-2轻取GL
2024-02-20 11:00
欧洲RMRB组：首轮Vitality对阵GL。选图核子危机，ZywOo手枪局ACE宣布接管比赛，不断平推外场，小蜜蜂轻松取得首胜。
欧洲RMR B组：游龙式表演，绿龙零封ENCE
2024-02-20 11:00
欧洲RMRB区，今晚迎来了绿龙对阵ENCE，在死亡游乐园上，donk、sh1ro、chopper轮番表演，完成了零封的壮举，击败了E...
'''
三.re正则拆分网页
import requests
from re import findall,fullmatch
import csv# 1.获取网页源代码response = requests.get('https://cd.zu.ke.com/zufang')
result = response.text# print(result)# 2.房源信息获取
# <a class="twoline" target="_blank" href="/zufang/CD1871411262642978816.html">
# 整租·五福桥东路8号 2室1厅 北 </a>names = findall(r'(?s)<a class="twoline".+?>(.+?)</a>',result)
names = [x.strip() for x in names]# print(names)# <span class="content__list--item-price"><em>2200</em> 元/月</span>
prices = findall(r'<span class="content__list--item-price"><em>(\d+)</em>',result)
# print(prices)# 3.将房源和价格匹配
house = map(lambda i1,i2: (i1, i2),names,prices) # 将名称和价格打包成元组
print(list(house))# 4.数据持久化
f = open('files/租房.csv','a',encoding='utf-8',newline='')
writer = csv.writer(f)
writer.writerow(['名称','价格'])
writer.writerows(list(house))四.批量图片下载
-
需要通过get获取网页源代码
-
通过源码+re正则获取想要的数据列表
-
通过列表的循环一一获取资源地址
-
通过get请求加资源地址获取图片源文件
# <img alt="整租·东立国际广场 1室0厅 南_东立国际广场租房"
# src="https://ke-image.ljcdn.com/lease-image/house/dbd463aebd7c99123c5d1677a819a123.jpeg.250x182.jpg"
# data-src="https://ke-image.ljcdn.com/lease-image/house/dbd463aebd7c99123c5d1677a819a123.jpeg.250x182.jpg"
# class=" lazyloaded" data-expand="400"># <a class="content__list--item--aside" target="_blank" href="/zufang/CD1859169008134127616.html" title="整租·龙城国际 3室2厅 北/东北">
# <img alt="整租·龙城国际 3室2厅 北/东北_龙城国际租房" src="https://ke-image.ljcdn.com/110000-inspection/15657758-3dfa-4734-ae81-01dc29303a24.jpg!m_fill,w_250,h_182,l_fbk,o_auto" data-src="https://ke-image.ljcdn.com/110000-inspection/15657758-3dfa-4734-ae81-01dc29303a24.jpg!m_fill,w_250,h_182,l_fbk,o_auto" class=" lazyloaded" data-expand="400">
# <!-- 是否展示vr图片 -->
# <i class="vr-logo"></i>
# <!-- 是否展示省心租图片 -->
# <i class="sxz-logo"></i>
# <!-- 广告标签 -->
# </a>import requests
from re import findall
from uuid import uuid1# 1.获取网页源代码
response = requests.get('https://cd.zu.ke.com/zufang')
content = response.text# 2.解析图片地址
all_images = findall(r'(?s)<a\s+class="content__list--item--aside".+?>\s+<img.+?data-src="(.+?)"',content)
# print(all_images)# 3.下载图片函数
def download_image(url:str):response = requests.get(url)with open(f'files/{uuid1()}.jpeg','wb') as f:f.write(response.content)# 调用函数
for x in all_images:download_image(x)五. 网页创建（hbuilderx）
<!DOCTYPE html><html><head><meta charset="utf-8"><title>css选择器</title><style>#header {background-color: burlywood;color: aliceblue;padding: 20px;}#content {font-size: 18px;line-height: 1.5;padding: 20px;}p.c1{background-color: darkgray;color: #666;}</style></head><body><div id="header"><h1>欢迎来到我的网页</h1></div><p class="c1">具有c1的p标签</p><div id="content"><p class="c1">在div内部具有c1的p标签</p><span class="c1">在div内部具有c1的行内元素</span><p class="c1 c2 c3" id="p1">具有多个类的p标签且有id</p><p>展示了电影的文本信息</p></div><div id="footer">©2024 ALL rights reserved.</div></body>
</html>
相关文章：
week04day02(爬虫02)
<span>: 通常用于对文本的一部分进行样式设置或脚本操作。<a>: 定义超链接，用于创建链接到其他页面或资源的文本。<img>: 用于插入图像。<br>: 用于插入换行。 姓名：<input type"text" value"lisi">…...
【C++初阶】类和对象（中）
目录 一.类的6个默认成员函数 1.知识引入 编辑 2.构造函数 (1)概念 (2)语法特性 (3)特征 ①问题引入1 ②问题引入2 （缺少默认构造函数） 3.析构函数 (1)概念 (2)特性 4.拷贝构造函数 (1)概念 (2)特征 ①拷贝构造函数是构造函数的一…...
Python爬虫知识图谱
下面是一份详细的Python爬虫知识图谱，涵盖了从基础入门到进阶实战的各个环节，涉及网络请求、页面解析、数据提取、存储优化、反爬策略应对以及法律伦理等多个方面，并配以关键点解析和代码案例，以供读者深入学习和实践。 一、Pyth…...
安宝特AR汽车行业解决方案系列1-远程培训
在汽车行业中，AR技术的应用正悄然改变着整个产业链的运作方式，应用涵盖培训、汽修、汽车售后、PDI交付、质检以及汽车装配等，AR技术为多个环节都带来了前所未有的便利与效率提升。 安宝特AR将以系列推文的形式为读者逐一介绍在汽车行业中安宝…...
微服务篇之分布式系统理论
一、CAP定理 1.什么是CAP 1998年，加州大学的计算机科学家 Eric Brewer 提出，分布式系统有三个指标： 1. Consistency（一致性）。 2. Availability（可用性）。 3. Partition tolerance ࿰…...
MLflow【部署 01】MLflow官网Quick Start实操（一篇学会部署使用MLflow）
一篇学会部署使用MLflow 1.版本及环境2.官方步骤Step-1 Get MLflowStep-2 Start a Tracking ServerStep 3 - Train a model and prepare metadata for loggingStep 4 - Log the model and its metadata to MLflowStep 5 - Load the model as a Python Function (pyfunc) and us…...
NDK的log.h使用__android_log_print报错app:buildCMakeDebug[x86_64]
org.gradle.api.tasks.TaskExecutionException: Execution failed for task :app:buildCMakeDebug[x86_64] 重点是 Execution failed for task :app:buildCMakeDebug[x86_64]. 我的代码： #include <android/log.h> #define LOG_TAG "MyJNI" #d…...
【计算机网络：DHCP协议】
文章目录 前言一、DHCP是什么？二、DHCP的工作原理1.基本流程发现（DISCOVER）提供（OFFER）请求（REQUEST）确认（ACKNOWLEDGEMENT） 2.DHCP租约的概念3.DHCP续租过程 三、DHCP服…...
http前生今世
HTTP/0.9，仅支持GET方法，并且响应中没有HTTP头信息，只有文档内容。 HTTP/1.0增加了对POST方法、状态码、HTTP头信息等的支持，这一版本也是广泛应用的历史性版本。 HTTP/1.1引入了持久连接（Persistent Connections&…...
一键安装ROS适用于Ubuntu22/20/18
一键安装ROS适用于Ubuntu22/20/18 1、简介 ROS（Robot Operating System，机器人操作系统）是一个用于机器人软件开发的框架。它提供了一套工具和库，用于机器人应用程序的开发、测试和部署。ROS是由美国斯坦福大学机器人实验室&…...
OLED透明屏厂家：开启2024年新征程
随着科技的不断进步和创新，OLED透明屏作为一种前沿的显示技术，正逐渐走进人们的视野，成为多个领域的焦点。在2024年2月21日这个特殊的日子，我们这家领先的OLED透明屏厂家正式开工，预示着我们将迎来一个充满机遇和挑战的…...
【算法与数据结构】200、695、LeetCode岛屿数量（深搜+广搜） 岛屿的最大面积
文章目录 一、200、岛屿数量1.1 深度优先搜索DFS1.2 广度优先搜索BFS 二、695、岛屿的最大面积2.1 深度优先搜索DFS2.2 广度优先搜索BFS 三、完整代码 所有的LeetCode题解索引，可以看这篇文章——【算法和数据结构】LeetCode题解。 一、200、岛屿数量 1.1 深度优先搜…...
第四十一回 还道村受三卷天书 宋公明遇九天玄女-python创建临时文件和文件夹
宋江想回家请老父亲上山，晁盖说过几天带领山寨人马一起去。宋江还是坚持一个人去。 宋江到了宋家村，被两个都头和捕快们追捕，慌不择路，躲进了一所古庙。一会儿，听见有人说：小童奉娘娘法旨，请星主…...
Tofu5m 高速实时推理Yolov8
Tofu5m 是高性价比目标识别跟踪模块，支持可见光视频或红外网络视频的输入，支持视频下的多类型物体检测、识别、跟踪等功能。 Yolov8推理速度达到40帧每秒。 实测视频链接：Tofu5m识别跟踪模块_哔哩哔哩_bilibili 产品支持视频编码、设备管理…...
[SWPUCTF 2021 新生赛]crypto8
第一眼看见是乱码不确定是什么的编码 看了下感觉是UUencode编码 UUencode编码是一种古老的编码方式，通常用于将二进制数据转换成可打印字符的形式。UUencode编码采用一种基于64个字符的编码表，将每3个字节的数据编码为4个可打印字符，以实现…...
学习使用js调用动态函数名(动态变量函数名)
学习使用js调用动态函数名-动态变量函数名 背景代码 背景 函数名写在 html 上，在 js 中定义这个变量，js 报错该函数不存在，在此给出解决方法 代码 //html代码如下 <a data-function"qipa" class"clickMe">250&l…...
CSS 圆形的时钟秒针状的手柄绕中心点旋转的效果
<template><!-- 创建一个装载自定义加载动画的容器 --><view class="cloader"><!-- 定义加载动画主体部分 --><view class="clface"><!-- 定义类似秒针形状的小圆盘 --><view class="clsface"><!-…...
MYSQL--存储过程操作
一：概念： 存储过程实际上对标了JAVA当中的方法，两者是相似的，同时需要注意的一点是，MYSQL仅仅在5.0版本之后才出现这种存储操作的过程； 优点： 1.存储过程能够让运行的速度变得更加迅速ÿ…...
C#上位机与三菱PLC的通信09---开发自己的通讯库(A-3E版)
1、A-3E报文回顾 具体细节请看： C#上位机与三菱PLC的通信05--MC协议之QnA-3E报文解析 C#上位机与三菱PLC的通信06--MC协议之QnA-3E报文测试 2、为何要开发自己的通讯库 前面开发了自己的A-1E协议的通讯库，实现了数据的读写，对于封装的通…...
【LeetCode】70. 爬楼梯（简单）——代码随想录算法训练营Day38
题目链接：70. 爬楼梯 题目描述 假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？ 示例 1： 输入：n 2 输出：2 解释：有两种方法可以爬到…...
图数据库 之 Neo4j - Cypher语法基础(5)
节点(Nodes) Cypher使用()来表示一个节点。 () # 最简单的节点形式，表示一个任意无特征的节点，其实就是一个空节点(movie) # 如果想指向一个节点在其他地方，我们可以给节点添加一个变量名(如movie)，表示一个变量名为 movie的节点。(:Movie) # 表示一个标签为 Movie 的匿名…...
打造智能物品租赁平台：Java与SpringBoot的实践
✍✍计算机编程指导师 ⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！ ⚡⚡ Java实战 |…...
盘点那些世界名校计算机专业采用的教材
清华、北大、MIT、CMU、斯坦福的学霸们在新学期里要学什么？今天我们来盘点一下那些世界名校计算机专业采用的教材。 书单目录 1.《深入理解计算机系统》（原书第3版）2. 《算法导论》（原书第3版）3. 《计算机程序的构造和…...
编程笔记 Golang基础 013 格式化输入输出
编程笔记 Golang基础 013 格式化输入输出 一、格式化输出1. fmt.Print系列函数2. Printf格式说明3. 格式化布尔类型 二、格式化输入1. fmt.Scan系列函数注意事项 三、练习小结 Go语言中的格式化输入和输出主要通过标准库 fmt 包来实现。主要是输出需要格式化。 一、格式化输出 …...
身份证实名认证接口-简单的身份认证API调用方法
还在为复杂的API调用头疼不已？今天为大家带来一种超简单的身份认证API调用方法，让你的工作效率瞬间起飞！ Java调用代码如下： import java.io.*; import okhttp3.*; public class main { public static void main(String []ar…...
数据结构·顺序表
1数据结构简介 学习数据结构与算法之前，一般是先学数据结构，方便之后学习算法，那么数据结构拆开介绍，就是数据 和 结构，数据，生活中到处都是，结构，就是数据存储的方式，即…...
玩转网络抓包利器：Wireshark常用协议分析讲解
Wireshark是一个开源的网络协议分析工具，它能够捕获和分析网络数据包，并以用户友好的方式呈现这些数据包的内容。Wireshark 被广泛应用于网络故障排查、安全审计、教育及软件开发等领域。关于该工具的安装请参考之前的文章：地址 ，…...
静态时序分析：SDC约束命令set_drive详解
相关阅读 静态时序分析https://blog.csdn.net/weixin_45791458/category_12567571.html 本章将讨论使用set_drive命令，它用于对输入端口的驱动能力建模。首先需要说明的是，默认情况下，DC在STA时默认输入端口的转换时间是0，这对于…...
C#算法（12）—对图像像素做X/Y方向的偏移
我们在上位机开发领域有时候需要对获取的图像的像素做整体的偏移，比如所有像素在X方向上偏移几个像素，或者所有像素在Y方向上偏移几个像素，本文就是开发了像素整体偏移算法来解决这个问题。 比如有一个图像大小为3*3，像素值如下图1，如果我想实现将这个幅图像的像素整体往右…...
说一说Eclipse的项目类型和常用项目的区别
Eclipse在新建项目的时候有很多类型，包括Java project、Web project等等，如下： 那么这些项目类型有什么区别呢？我们在创建项目的时候应该如何选择，了解清楚这一点还是非常重要的，但记住一个出发点ÿ…...