当前位置：首页 > article >正文

python爬虫笔记（一）

article 2026/3/11 16:00:51

文章目录

- html
- - 基础
  - - 标签和下划线
    - 无序列表和有序列表
    - 表格
    - - 加边框
  - html的属性
  - - a标签（网站）
    - - target属性
      - 换行线和水平分割线
    - 图片
    - - 设置宽高width，height
  - html区块——块元素与行内元素
  - - 块元素与行内元素
    - 块元素举例
    - - 行内元素举例
  - 表单
  - - from标签
    - - type属性
      - placeholder属性
      - value属性
      - span标签的应用
      - radio选项
    - label标签
    - - for属性
      - checkbox多选
      - submit属性
    - from标签
    - css
    - css三种导入方式
    - 选择器
    - 元素选择器、类选择器、ID选择器、通用选择器
    - 子元素选择器（嵌套），后代选择器
    - 后代选择器示例
    - 伪类选择器
  - css属性

在这里插入图片描述

import requests
response = requests.get( "http://books.toscrape.com/")
if response.ok:print(response.text)
else:print("请求失败")

有User-Agent

import requests
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.62"
}
response = requests.get("https://movie.douban.com/top250",headers=headers)
print(response.status_code)

from bs4 import BeautifulSoup
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/116.0.0.0"
}
response = requests.get("http://books.toscrape.com/", headers=headers)
content = response.text
soup = BeautifulSoup(content,"html.parser")
all_prices = soup.find_all("p",attrs={"class": "price_color"})
# for price in all_prices:
#     print(price)
for price in all_prices:# print(price.text)# print(price)# print(price.string)print(price.string[2:])

from bs4 import BeautifulSoup
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/116.0.0.0"
}
for start_num in range(0,250,25):response = requests.get(f"https://movie.douban.com/top250?start={start_num}", headers=headers)html = response.textsoup = BeautifulSoup(html,"html.parser")all_titles = soup.findAll( "span",attrs={"class":"title"})for title in all_titles:title_string=title.stringif "/" not in title_string:print(title_string)

在这里插入图片描述

html

基础

标签和下划线

在这里插入图片描述

无序列表和有序列表

在这里插入图片描述

表格

在这里插入图片描述

加边框

在这里插入图片描述

html的属性

在这里插入图片描述

a标签（网站）

在这里插入图片描述

target属性

在这里插入图片描述

在这里插入图片描述
1.self链接在当前窗口打开
2.blank链接在新窗口打开
3.parent链接在父窗口打开
4.top链接在顶层窗口打开

换行线和水平分割线

在这里插入图片描述

换行是br，水平分割线是hr

图片

在这里插入图片描述

设置宽高width，height

html区块——块元素与行内元素

块元素与行内元素

在这里插入图片描述

块元素举例

用于结构或布局
-------------------------------------------------------------a
在这里插入图片描述

------------------------------------------------------------------------a

行内元素举例

用于内联样式化文本，给文本的一部分用样式或标记
在这里插入图片描述

在这里插入图片描述

表单

from标签

type属性

input标签，type属性规定了input的类型

在这里插入图片描述

w3cschool.cn/html5/html5-input.html

可以在网站输入内容
在这里插入图片描述

placeholder属性

在这里插入图片描述

value属性

自动填写“请输入内容”
在这里插入图片描述

span标签的应用

在这里插入图片描述

radio选项

在这里插入图片描述

加入gender只能选一个，不加可以全部勾选

在这里插入图片描述

label标签

for属性

for一般与id绑定

password属性
在这里插入图片描述

checkbox多选

在这里插入图片描述

submit属性

在这里插入图片描述

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=html, initial-scale=1.0"><title>html练习</title>
</head>
<body><form><label>用户名:</label><input type="text" placeholder="请输入用户名"><br><br><label for="pwd">密码:</label><input type="password" id="pwd" placeholder="请输入密码"><br><br><label>性别:</label><input type="radio" name="gender">男<input type="radio" name="gender">女<input type="radio" name="gender">其他<br><br><label>爱好:</label><input type="checkbox" name="hobby">唱歌<input type="checkbox" name="hobby">跳舞<input type="checkbox" name="hobby">RAP<input type="checkbox" name="hobby">篮球<br><br><input type="submit"></form><form action="#"></form>
</body>
</html>

#需要为服务器，即api

from标签

提交后具体数据存到哪里
就是from中action属性

css

在这里插入图片描述

<!DOCTYPE html>
<html>
<head><style>p {color: blue; /* 将所有 price_color 类的文本改为蓝色 */font-size: 16px;}</style>
</head>
<body><p>这是一个应用css样式的文本</p>  
</body>
</html>

css三种导入方式

在这里插入图片描述

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=html, initial-scale=1.0"><title>html练习</title><!-- <link rel="stylesheet" href="./style.css"  --><style>p {color: blue; /* 将所有 p 标签的文本改为蓝色 */font-size: 16px;}h2 {color: green;}</style>
</head>
<body><p>这是一个应用css样式的文本</p>  <h1 style="color: red;">这是一个一级标题使用内联样式</h1><h2>这是一个二级标题，应用外部样式</h2><h3>这是一个三级标题，应用外部样式</h3>
</body>
</html>

选择器

在这里插入图片描述

元素选择器、类选择器、ID选择器、通用选择器

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>h2{color:aqua;}  /* 元素选择器 */.highlight{background-color: yellow;}#header{font-size: 55px;}        /* id选择器 */*{font-family:'Franklin Gothic Medium', 'Arial Narrow', Arial, sans-serif;}/* 通用选择器 */</style> 
</head> 
<body><h1>不同类型的css选择器</h1><h2>这是一个元素选择器示例</h2><h3 class="highlight">这是一个类选择器示例</h3> <h3>这是另一个类选择器示例</h3><h4 id="header">这是一个id选择器示例 </h4></body>
</html>

在这里插入图片描述

子元素选择器（嵌套），后代选择器

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>.father>.son{color:yellowgreen;}/* 子元素选择器 */</style> 
</head> 
<body>

在这里插入图片描述

后代选择器示例

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>#header{font-size: 55px;}        /* id选择器 */.father>.son{color:yellowgreen;}/* 子元素选择器 */</style> 
</head> 
<body><div class="father"><p class="son">这是一个子元素选择器示例</p>
</div>
<div><p class="grandson">这是一个后代选择器示例</p>
</div>
</body>
</html>

在这里插入图片描述

后代包含子代，子代不包含孙子代，之所以后代选择器每变色是英文grandson不是子代

伪类选择器

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>#header{font-size: 55px;}        /* id选择器 */#element:hover{background-color: purple;}</style> 
</head> 
<body><h3 id="element">这是一个伪类选择器示例</h3></body>
</html>

在这里插入图片描述
鼠标悬浮背景颜色会变

css属性

background-color
font-size
font-family
font-weight
在这里插入图片描述
菜鸟教程网站

runoob.com/cssref/css-reference.html#font

在这里插入图片描述

python爬虫笔记（一）

文章目录 html基础标签和下划线无序列表和有序列表表格加边框 html的属性a标签（网站）target属性换行线和水平分割线图片设置宽高width，height html区块——块元素与行内元素块元素与行内元素块元素举例行内元素举例表单from标签type属性pla…...

编程日记 2026/3/4 16:44:37

docker后台运行，便于后期用命令行进入它的终端

在 docker compose up --build -d 命令中，**-d（或 --detach）参数的作用是让容器以后台模式（detached mode）**运行。以下是详细解释： **-d 参数的作用** 后台运行容器： 默认情况下&a…...

编程日记 2026/2/15 18:19:30

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20087.%20%E5%A4%8D%E5%8E%9F%20IP/README.md 剑指 Offer II 087. 复原 IP 题目描述给定一个只包含数字的字符串 s ，用以表示一个 IP 地址&#xf…...

编程日记 2026/2/22 6:47:48

DC-6靶机详解

一、主机发现 arp-scan -l靶机ip为192.168.55.159 二、端口扫描、目录枚举、指纹识别、 2.1端口扫描 nmap 192.168.55.159发现没有开放特殊端口看来信息收集的重点要放在网页中了 2.2目录枚举 dirb http://192.168.55.1592.3指纹识别 nmap 192.168.55.159 -sV -sC -O …...

编程日记 2026/2/26 11:29:00

Java构造方法详解：从入门到实战

目录一、什么是构造方法？ 二、构造方法的作用三、构造方法分类与使用 1. 默认构造方法 2. 有参构造方法 3. 构造方法重载四、注意事项（避坑指南） 五、经典面试题解析六、实战应用场景七、总结一、什么是构造方法？ …...

编程日记 2026/3/8 9:57:24

STM32-SPI通信外设

目录一：SPI外设简介 SPI框图编辑 SPI逻辑编辑主模式全双工连续传输编辑非连续传输二：硬件SPI读写W25Q64 1.接线： 2. 代码 SPI外设的初始化生成时序一：SPI外设简介 STM32内部集成了硬件SPI收发电路&#…...

编程日记 2026/2/26 17:59:02

远程控制中的云电脑是什么意思？1分钟学会用

很多常用我们ToDesk远程控制的朋友们或许会注意到无论是在PC端还是移动端中都出现有【云电脑】【来云电脑爽玩-新用户免费1小时】这些词句等信息。那么这究竟是代表什么意思呐？云电脑是什么又怎么用呐？为什么要增加云电脑？以下小编就为大家科…...

编程日记 2026/3/11 1:16:49

【go】Go 语言中 errors.Is 和 errors.As 的区别

Go 语言中 errors.Is 和 errors.As 的区别核心区别概述 errors.Is 和 errors.As 是 Go 1.13 引入的错误处理函数，它们有着不同的用途： errors.Is: 判断错误链中是否包含特定的错误值（错误相等性检查）errors.As: 尝试将错误转换…...

编程日记 2026/3/2 17:51:38

网络爬虫【简介】

我叫补三补四，很高兴见到大家，欢迎一起学习交流和进步今天来讲一讲视图一、网络爬虫的定义网络爬虫（Web Crawler），又称为网络蜘蛛、网络机器人等，是一种按照一定规则自动抓取互联网信息的程序或脚本。它…...

编程日记 2026/3/10 20:46:53

JPA动态查询自定义排序规则

方法1：使用 CASE WHEN 语句排序 // 自定义排序逻辑 // 定义“离线”排在前，“在线”排在后 Expression<Object> caseExpression cb.selectCase().when(cb.equal(root.get("status"), "离线"), 0).when(cb.equal(root.get(…...

编程日记 2026/2/25 20:02:21

卫语句优化多层if else嵌套

一、卫语句的介绍卫语句是一种编程实践，用于在函数或方法的开头快速处理不符合条件的情况，从而避免深层次的嵌套结构。它的核心思想是尽早返回，减少嵌套，使代码更加清晰易读。二、卫语句的作用提高可读性：卫语句将…...

编程日记 2026/2/27 11:30:02

2024华东师范大学计算机复试上机真题

2024华东师范大学计算机复试机试真题 2023华东师范大学计算机复试机试真题 2022华东师范大学计算机复试机试真题 2024华东师范大学计算机复试上机真题 2023华东师范大学计算机复试上机真题 2022华东师范大学计算机复试上机真题在线评测：传动门：pgcode…...

编程日记 2026/3/1 7:25:56

3.15刷题

P6337 [COCI 2007/2008 #2] CRNE - 洛谷 #include<bits/stdc.h> using namespace std; int main(){int n;cin>>n;//横加竖最大。n/2,n/21if(n%20){cout<<(n/21)*(n/21);}else cout<<(n/22)*(n/21);return 0; }P6338 [COCI 2007/2008 #2] PRVA - 洛…...

编程日记 2026/2/18 10:10:07

14.使用各种读写包操作 Excel 文件：辅助模块

一各种读写包这些是 pandas 在底层使用的各种读写包。无须安装 pandas，直接使用这些读写包就能够读写 Excel 工作簿。可以尽可能地使用 pandas 来解决这类问题，只在 pandas 没有提供你所需要的功能时才用到读写包。表中没有 xlwings ，因为…...

编程日记 2026/2/24 19:29:18

设计心得——多态

一、设计上的多态无论是在网上还是书籍上，还是自己的文章里都反复分析过多态的原理、应用和各种常见的情况。本篇重点从设计的角度来阐述一下多态，而不对多态的具体的用法进行说明。在前面的知识学习中可以知道，多态可以分为动多态和靜多态…...

编程日记 2026/3/11 3:41:31

【DeepSeek】本地部署DeepSeek的完整教程（Ollama+Docker+Open WebUI）

本地部署DeepSeek的完整教程文章目录本地部署DeepSeek的完整教程写在前面技术需求详细步骤一. 安装Ollama软件二. 安装DeepSeek-R1模型三. 安装Docker软件四. 配置Web UI界面问题解决1. 打开`docker desktop`时，一直显示`Docker Engine stopped`2. 用`Docker`拉取`Open WebU…...

编程日记 2026/3/6 20:33:55

Python数据分析之数据可视化

Python 数据分析重点知识点本系列不同其他的知识点讲解，力求通过例子让新同学学习用法，帮助老同学快速回忆知识点可视化系列： Python基础数据分析工具数据处理与分析数据可视化机器学习基础四、数据可视化图表类型与选择根据数据特…...

编程日记 2026/3/10 1:40:17

1、操作系统引论

一、操作系统会使用linux系统建议大家先学会linux的基础指令，可以看菜鸟教程网站进行学习。 1、各种定义操作系统定义管理计算机的硬件和软件资源， 能对各类作业进行调度，方便用户使用计算机的程序集合。操作系统运行在内核态&#xf…...

编程日记 2026/3/10 20:43:24

DeepSeek 本地化新篇章：Ollama 兼容 OpenAI API 的深度解析与部署实践

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界随着大语言模型（LLM）的快速发展，开发者对本地化部署和 API 兼容性的需求日益增加。Ollama 作为一个轻量级开源框架，通过兼容 OpenAI AP…...

编程日记 2026/3/11 4:17:15

【PTA题目解答】7-4 数气球（20分）

1.题目天空上有n个气球，第i个气球的颜色为colori（为全由小写字母组成的字符串） 请你数出每种颜色的气球的数量，并按照颜色出现的先后顺序进行排序输出。输入格式: 测试数据有T组(1≤T≤100)。对于每组样例，第一…...

编程日记 2026/3/5 3:50:25

Swift 中 associatedtype 的用法详解

目录前言 1.什么是associatedtype 2.associatedtype 的作用 1.让协议支持泛型 2.让协议支持不同的数据类型 3.结合 where 关键字限制类型 4.什么时候使用 associatedtype 5.总结前言在 Swift 语言中，泛型（Generics）是一个非常强大…...

编程日记 2026/3/8 20:08:18