week04day02(爬虫02)
<span>: 通常用于对文本的一部分进行样式设置或脚本操作。<a>: 定义超链接，用于创建链接到其他页面或资源的文本。<img>: 用于插入图像。<br>: 用于插入换行。
姓名：<input type="text" value="lisi">密码：<input type="password" ><br>性别：<input type="radio" name="sex" id='g1'> <label for="g1">男</label><input type="radio" name="sex" id='g2'> <label for="g2">女</label><br>兴趣：<input type="checkbox">篮球<input type="checkbox" />乒乓球<!--
input 会出现一个框， type的类型会决定框的类型。
type = text, 就是输入框的方框
type = radio 是只能够单选的圆框
type = checkbox 是可以多选的框
--><!DOCTYPE html>
<!-- html是以标签为单位为网页提供内容标签一共分为两类：1.双标签：有始有终 <标签名>内容</标签名> 例子：<html> 内容 </html>2.单标签：<br><meta />-->
<html><head><meta charset="utf-8" /><title>百度一下你就知道</title><link rel="icon" href="img/logo.png"></head><body><h1>welcome</h1><h2>welcome2</h2><p>走在风中今天阳光突然好温柔</p><span>基本信息</span><br><br><a href="https://fanyi.baidu.com">百度翻译</a><br>姓名：<input type="text" value="lisi">密码：<input type="password" ><br>性别：<input type="radio" name="sex" id='g1'> <label for="g1">男</label><input type="radio" name="sex" id='g2'> <label for="g2">女</label><br>兴趣：<input type="checkbox">篮球<input type="checkbox" />乒乓球</body>
</html>
一. css选择器
- .c1{} 指定class为 c1 的所有元素
- p.c1{} 同时选择标签为p且class为c1的所有元素
- .c1.c2.c3{} class为 c1 c2 c3都可以满足后面的规则
- p , .c1 , #p1{} 选择所有的p class为c1 以及id为p1的所有元素
- div c1{} div后面+空格 就表示 选择div元素内部所有具有c1的class的子孙元素 （后代，只要在后面的都是）
- div>p{} 选择div元素的直接子元素 （子代，只能在下面一个）
代码示例
<!DOCTYPE html>
<html><head><meta charset="utf-8"><title>css选择器</title><style>#header {background-color: burlywood;color: aliceblue;padding: 20px;}#content {font-size: 18px;line-height: 1.5;padding: 20px;}#footer {background-color: darkgray;}</style></head><body><div id="header"><h1>欢迎来到我的网页</h1></div><div id="content"><p>主要区域</p><p>电影的文本信息</p></div><div id="footer">©2024 ALL rights reserved</div></body>
</html>二. 获取API的数据
### 老师代码
import requests
# 注意：要更改成自己的账号的key才可以执行
# 传参的规则详见官网# API key: 77e3001618697564b156bfc856d3820b
# num： 多少条res = requests.get(url='https://apis.tianapi.com/esports/index',params={'key':'77e3001618697564b156bfc856d3820b','num':15})# print(res.status_code)
# print(res.text)result = res.json()['result']
# print(result)news_list = result['newslist']
for news in news_list:print(news['title'])print(news['ctime'])print(news['description'])### 我的部分
'''
headers={'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36'}
api-key: 82c04e57b37b96376658254d8d32dcc1
num : 多少条
'''import requests
res = requests.get(url='https://apis.tianapi.com/esports/index',params = {'key':'82c04e57b37b96376658254d8d32dcc1','num':15})
# print(res.status_code)
# print(res.text)result = res.json()['result']
#print(result)
new_list = result['newslist']
for news in new_list:print(news['title'])print(news['ctime'])print(news['description'])'''
天道好轮回？ Heroic继续对Astralis保持不败
2024-02-21 11:00
在刚刚结束的一场PGL哥本哈根MajorRMR欧洲区的赛事中，Heroic以13-7战胜Astralis，在新版本的CS中继续对这支...
欧洲RMR B组：一路顺风率先出线！C9 2-1击败Vitality
2024-02-21 11:00
欧洲RMRB组，Vitality对阵C9，图一开始C9抓住机会率先拉开比分，随后Vitality马上调整状态追上比分上半场7-5领先...
Falcons总监：租借可以让我们灵活确定参赛阵容
2024-02-21 11:00
显然很多人都为s1mple的加盟而激动不已。我很高兴Falcons能够促成此事。要说明的是：正如声明中所言，这只是参加BLAST复活...
C9经理：s1mple转会的关键在个人意愿而非钱
2024-02-21 11:00
Cloud9经理并不认同外界口中Falcons豪掷千金买下s1mple的说法。在这方面，我大胆假设，s1mple的转会关键更多的在于他...
jL：对s1mple加入Falcons毫不知情
2024-02-21 11:00
日前在和主播ohnepixel的直播连线中，NaVi选手jL分享了自己对s1mple加入Falcons一事的看法。
欧洲RMR B组：我们这边也有高手！MOUZ 2-0 Spirit
2024-02-21 11:00
欧洲RMRB组，Spirit对阵MOUZ，双方大战一触即发，争夺率先晋级的名额。经过BO3的大战，最终MOUZ以2-0击败了对手，取...
官宣：Rocket退出美洲RMR NRG有望候补
2024-02-21 11:00
昨天Rocket选手EMIYA第二次被平台因作弊封禁，同时队内其他选手也承认队伍在RMR封闭预选赛中违规有教练在旁边支招。目前Rock...
TeSeS：击败A队绝非靠运气
2024-02-21 11:00
在备受期待的比赛之后，TeSeS接受了外媒采访，谈到了他们到目前为止的Major征程，击败Astralis的感受以及对他们的第一个国际...
时隔近两年 Boombl4重返Major！
2024-02-21 11:00
在昨天晚上的比赛中，Cloud9战队2-1击败Vitality，意味着Boombl4成功晋级到了PGL哥本哈根Major当中。
KRAFTON 2023年度总销售额达19,106亿韩元 创历史新高
2024-02-20 19:00
KRAFTON公司(CEOCHKim)于1月26日公布了2023年全年及第四季度的财报业绩，并于2月8日下午召开了财报电话会议。
HLTV本周战队排名：C9与ENCE重返前十，NIP排名清零
2024-02-20 19:00
与上周相比，世界前五没有变化，第六至十名方面，曾在卡托维兹站闯进四强的沙特豪门Falcons出人意料地溃败，在RMRA组折戟，无缘P...
《豆豆的村庄》探险奇迹是什么？前期发展指南
2024-02-20 13:00
豆村奇迹分为探险奇迹和功能奇迹；接下来从新手视角，教教大家怎么解锁初级常见的几种奇迹。
《名利游戏》：一场关于选择与后果的“互动剧”现已登陆Steam
2024-02-20 13:00
2024年2月20日——在等待中充满期待的互动剧《名利游戏》终于在Steam平台上线，为广大游戏爱好者带来了一场独特的人生冒险。这...
欧洲RMR B组：砍瓜切菜，小蜜蜂13-2轻取GL
2024-02-20 11:00
欧洲RMRB组：首轮Vitality对阵GL。选图核子危机，ZywOo手枪局ACE宣布接管比赛，不断平推外场，小蜜蜂轻松取得首胜。
欧洲RMR B组：游龙式表演，绿龙零封ENCE
2024-02-20 11:00
欧洲RMRB区，今晚迎来了绿龙对阵ENCE，在死亡游乐园上，donk、sh1ro、chopper轮番表演，完成了零封的壮举，击败了E...
'''
三.re正则拆分网页
import requests
from re import findall,fullmatch
import csv# 1.获取网页源代码response = requests.get('https://cd.zu.ke.com/zufang')
result = response.text# print(result)# 2.房源信息获取
# <a class="twoline" target="_blank" href="/zufang/CD1871411262642978816.html">
# 整租·五福桥东路8号 2室1厅 北 </a>names = findall(r'(?s)<a class="twoline".+?>(.+?)</a>',result)
names = [x.strip() for x in names]# print(names)# <span class="content__list--item-price"><em>2200</em> 元/月</span>
prices = findall(r'<span class="content__list--item-price"><em>(\d+)</em>',result)
# print(prices)# 3.将房源和价格匹配
house = map(lambda i1,i2: (i1, i2),names,prices) # 将名称和价格打包成元组
print(list(house))# 4.数据持久化
f = open('files/租房.csv','a',encoding='utf-8',newline='')
writer = csv.writer(f)
writer.writerow(['名称','价格'])
writer.writerows(list(house))四.批量图片下载
-
需要通过get获取网页源代码
-
通过源码+re正则获取想要的数据列表
-
通过列表的循环一一获取资源地址
-
通过get请求加资源地址获取图片源文件
# <img alt="整租·东立国际广场 1室0厅 南_东立国际广场租房"
# src="https://ke-image.ljcdn.com/lease-image/house/dbd463aebd7c99123c5d1677a819a123.jpeg.250x182.jpg"
# data-src="https://ke-image.ljcdn.com/lease-image/house/dbd463aebd7c99123c5d1677a819a123.jpeg.250x182.jpg"
# class=" lazyloaded" data-expand="400"># <a class="content__list--item--aside" target="_blank" href="/zufang/CD1859169008134127616.html" title="整租·龙城国际 3室2厅 北/东北">
# <img alt="整租·龙城国际 3室2厅 北/东北_龙城国际租房" src="https://ke-image.ljcdn.com/110000-inspection/15657758-3dfa-4734-ae81-01dc29303a24.jpg!m_fill,w_250,h_182,l_fbk,o_auto" data-src="https://ke-image.ljcdn.com/110000-inspection/15657758-3dfa-4734-ae81-01dc29303a24.jpg!m_fill,w_250,h_182,l_fbk,o_auto" class=" lazyloaded" data-expand="400">
# <!-- 是否展示vr图片 -->
# <i class="vr-logo"></i>
# <!-- 是否展示省心租图片 -->
# <i class="sxz-logo"></i>
# <!-- 广告标签 -->
# </a>import requests
from re import findall
from uuid import uuid1# 1.获取网页源代码
response = requests.get('https://cd.zu.ke.com/zufang')
content = response.text# 2.解析图片地址
all_images = findall(r'(?s)<a\s+class="content__list--item--aside".+?>\s+<img.+?data-src="(.+?)"',content)
# print(all_images)# 3.下载图片函数
def download_image(url:str):response = requests.get(url)with open(f'files/{uuid1()}.jpeg','wb') as f:f.write(response.content)# 调用函数
for x in all_images:download_image(x)五. 网页创建（hbuilderx）
<!DOCTYPE html><html><head><meta charset="utf-8"><title>css选择器</title><style>#header {background-color: burlywood;color: aliceblue;padding: 20px;}#content {font-size: 18px;line-height: 1.5;padding: 20px;}p.c1{background-color: darkgray;color: #666;}</style></head><body><div id="header"><h1>欢迎来到我的网页</h1></div><p class="c1">具有c1的p标签</p><div id="content"><p class="c1">在div内部具有c1的p标签</p><span class="c1">在div内部具有c1的行内元素</span><p class="c1 c2 c3" id="p1">具有多个类的p标签且有id</p><p>展示了电影的文本信息</p></div><div id="footer">©2024 ALL rights reserved.</div></body>
</html>
相关文章：
week04day02(爬虫02)
<span>: 通常用于对文本的一部分进行样式设置或脚本操作。<a>: 定义超链接，用于创建链接到其他页面或资源的文本。<img>: 用于插入图像。<br>: 用于插入换行。 姓名：<input type"text" value"lisi">…...
【C++初阶】类和对象（中）
目录 一.类的6个默认成员函数 1.知识引入 编辑 2.构造函数 (1)概念 (2)语法特性 (3)特征 ①问题引入1 ②问题引入2 （缺少默认构造函数） 3.析构函数 (1)概念 (2)特性 4.拷贝构造函数 (1)概念 (2)特征 ①拷贝构造函数是构造函数的一…...
Python爬虫知识图谱
下面是一份详细的Python爬虫知识图谱，涵盖了从基础入门到进阶实战的各个环节，涉及网络请求、页面解析、数据提取、存储优化、反爬策略应对以及法律伦理等多个方面，并配以关键点解析和代码案例，以供读者深入学习和实践。 一、Pyth…...
安宝特AR汽车行业解决方案系列1-远程培训
在汽车行业中，AR技术的应用正悄然改变着整个产业链的运作方式，应用涵盖培训、汽修、汽车售后、PDI交付、质检以及汽车装配等，AR技术为多个环节都带来了前所未有的便利与效率提升。 安宝特AR将以系列推文的形式为读者逐一介绍在汽车行业中安宝…...
微服务篇之分布式系统理论
一、CAP定理 1.什么是CAP 1998年，加州大学的计算机科学家 Eric Brewer 提出，分布式系统有三个指标： 1. Consistency（一致性）。 2. Availability（可用性）。 3. Partition tolerance ࿰…...
MLflow【部署 01】MLflow官网Quick Start实操（一篇学会部署使用MLflow）
一篇学会部署使用MLflow 1.版本及环境2.官方步骤Step-1 Get MLflowStep-2 Start a Tracking ServerStep 3 - Train a model and prepare metadata for loggingStep 4 - Log the model and its metadata to MLflowStep 5 - Load the model as a Python Function (pyfunc) and us…...
NDK的log.h使用__android_log_print报错app:buildCMakeDebug[x86_64]
org.gradle.api.tasks.TaskExecutionException: Execution failed for task :app:buildCMakeDebug[x86_64] 重点是 Execution failed for task :app:buildCMakeDebug[x86_64]. 我的代码： #include <android/log.h> #define LOG_TAG "MyJNI" #d…...
【计算机网络：DHCP协议】
文章目录 前言一、DHCP是什么？二、DHCP的工作原理1.基本流程发现（DISCOVER）提供（OFFER）请求（REQUEST）确认（ACKNOWLEDGEMENT） 2.DHCP租约的概念3.DHCP续租过程 三、DHCP服…...
http前生今世
HTTP/0.9，仅支持GET方法，并且响应中没有HTTP头信息，只有文档内容。 HTTP/1.0增加了对POST方法、状态码、HTTP头信息等的支持，这一版本也是广泛应用的历史性版本。 HTTP/1.1引入了持久连接（Persistent Connections&…...
一键安装ROS适用于Ubuntu22/20/18
一键安装ROS适用于Ubuntu22/20/18 1、简介 ROS（Robot Operating System，机器人操作系统）是一个用于机器人软件开发的框架。它提供了一套工具和库，用于机器人应用程序的开发、测试和部署。ROS是由美国斯坦福大学机器人实验室&…...
OLED透明屏厂家：开启2024年新征程
随着科技的不断进步和创新，OLED透明屏作为一种前沿的显示技术，正逐渐走进人们的视野，成为多个领域的焦点。在2024年2月21日这个特殊的日子，我们这家领先的OLED透明屏厂家正式开工，预示着我们将迎来一个充满机遇和挑战的…...
【算法与数据结构】200、695、LeetCode岛屿数量（深搜+广搜） 岛屿的最大面积
文章目录 一、200、岛屿数量1.1 深度优先搜索DFS1.2 广度优先搜索BFS 二、695、岛屿的最大面积2.1 深度优先搜索DFS2.2 广度优先搜索BFS 三、完整代码 所有的LeetCode题解索引，可以看这篇文章——【算法和数据结构】LeetCode题解。 一、200、岛屿数量 1.1 深度优先搜…...
第四十一回 还道村受三卷天书 宋公明遇九天玄女-python创建临时文件和文件夹
宋江想回家请老父亲上山，晁盖说过几天带领山寨人马一起去。宋江还是坚持一个人去。 宋江到了宋家村，被两个都头和捕快们追捕，慌不择路，躲进了一所古庙。一会儿，听见有人说：小童奉娘娘法旨，请星主…...
Tofu5m 高速实时推理Yolov8
Tofu5m 是高性价比目标识别跟踪模块，支持可见光视频或红外网络视频的输入，支持视频下的多类型物体检测、识别、跟踪等功能。 Yolov8推理速度达到40帧每秒。 实测视频链接：Tofu5m识别跟踪模块_哔哩哔哩_bilibili 产品支持视频编码、设备管理…...
[SWPUCTF 2021 新生赛]crypto8
第一眼看见是乱码不确定是什么的编码 看了下感觉是UUencode编码 UUencode编码是一种古老的编码方式，通常用于将二进制数据转换成可打印字符的形式。UUencode编码采用一种基于64个字符的编码表，将每3个字节的数据编码为4个可打印字符，以实现…...
)
学习使用js调用动态函数名(动态变量函数名)
学习使用js调用动态函数名-动态变量函数名 背景代码 背景 函数名写在 html 上，在 js 中定义这个变量，js 报错该函数不存在，在此给出解决方法 代码 //html代码如下 <a data-function"qipa" class"clickMe">250&l…...
CSS 圆形的时钟秒针状的手柄绕中心点旋转的效果
<template><!-- 创建一个装载自定义加载动画的容器 --><view class="cloader"><!-- 定义加载动画主体部分 --><view class="clface"><!-- 定义类似秒针形状的小圆盘 --><view class="clsface"><!-…...
MYSQL--存储过程操作
一：概念： 存储过程实际上对标了JAVA当中的方法，两者是相似的，同时需要注意的一点是，MYSQL仅仅在5.0版本之后才出现这种存储操作的过程； 优点： 1.存储过程能够让运行的速度变得更加迅速ÿ…...
C#上位机与三菱PLC的通信09---开发自己的通讯库(A-3E版)
1、A-3E报文回顾 具体细节请看： C#上位机与三菱PLC的通信05--MC协议之QnA-3E报文解析 C#上位机与三菱PLC的通信06--MC协议之QnA-3E报文测试 2、为何要开发自己的通讯库 前面开发了自己的A-1E协议的通讯库，实现了数据的读写，对于封装的通…...
【LeetCode】70. 爬楼梯（简单）——代码随想录算法训练营Day38
题目链接：70. 爬楼梯 题目描述 假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？ 示例 1： 输入：n 2 输出：2 解释：有两种方法可以爬到…...
AtCoder 第409场初级竞赛 A~E题解
A Conflict 【题目链接】 原题链接：A - Conflict 【考点】 枚举 【题目大意】 找到是否有两人都想要的物品。 【解析】 遍历两端字符串，只有在同时为 o 时输出 Yes 并结束程序，否则输出 No。 【难度】 GESP三级 【代码参考】 #i…...
el-switch文字内置
el-switch文字内置 效果 vue <div style"color:#ffffff;font-size:14px;float:left;margin-bottom:5px;margin-right:5px;">自动加载</div> <el-switch v-model"value" active-color"#3E99FB" inactive-color"#DCDFE6"…...
如何理解 IP 数据报中的 TTL？
目录 前言理解 前言 面试灵魂一问：说说对 IP 数据报中 TTL 的理解？我们都知道，IP 数据报由首部和数据两部分组成，首部又分为两部分：固定部分和可变部分，共占 20 字节，而即将讨论的 TTL 就位于首…...
用机器学习破解新能源领域的“弃风”难题
音乐发烧友深有体会，玩音乐的本质就是玩电网。火电声音偏暖，水电偏冷，风电偏空旷。至于太阳能发的电，则略显朦胧和单薄。 不知你是否有感觉，近两年家里的音响声音越来越冷，听起来越来越单薄？ —…...
为什么要创建 Vue 实例
核心原因：Vue 需要一个「控制中心」来驱动整个应用 你可以把 Vue 实例想象成你应用的**「大脑」或「引擎」。它负责协调模板、数据、逻辑和行为，将它们变成一个活的、可交互的应用**。没有这个实例，你的代码只是一堆静态的 HTML、JavaScript 变量和函数，无法「活」起来。 …...
二维FDTD算法仿真
二维FDTD算法仿真，并带完全匹配层，输入波形为高斯波、平面波 FDTD_二维/FDTD.zip , 6075 FDTD_二维/FDTD_31.m , 1029 FDTD_二维/FDTD_32.m , 2806 FDTD_二维/FDTD_33.m , 3782 FDTD_二维/FDTD_34.m , 4182 FDTD_二维/FDTD_35.m , 4793...
node.js的初步学习
那什么是node.js呢？ 和JavaScript又是什么关系呢？ node.js 提供了 JavaScript的运行环境。当JavaScript作为后端开发语言来说， 需要在node.js的环境上进行当JavaScript作为前端开发语言来说，需要在浏览器的环境上进行 Node.js 可…...
__VUE_PROD_HYDRATION_MISMATCH_DETAILS__ is not explicitly defined.
这个警告表明您在使用Vue的esm-bundler构建版本时，未明确定义编译时特性标志。以下是详细解释和解决方案： 问题原因： 该标志是Vue 3.4引入的编译时特性标志，用于控制生产环境下SSR水合不匹配错误的详细报告1使用esm-bundler…...
codeforces C. Cool Partition
目录 题目简述： 思路： 总代码： https://codeforces.com/contest/2117/problem/C 题目简述： 给定一个整数数组，现要求你对数组进行分割，但需满足条件：前一个子数组中的值必须在后一个子数组中…...
RabbitMQ work模型
Work 模型是 RabbitMQ 最基础的消息处理模式，核心思想是 多个消费者竞争消费同一个队列中的消息，适用于任务分发和负载均衡场景。同一个消息只会被一个消费者处理。 当一个消息队列绑定了多个消费者，每个消息消费的个数都是平摊的&a…...