当前位置：首页 > news >正文

爬虫（bilibili热门课程记录）

news 2025/10/11 6:45:41

什么是爬虫？程序蜘蛛，沿着互联网获取相关信息，收集目标信息。

一、python环境安装

1、先从Download Python | Python.org中下载最新版本的python解释器

2、再从Download PyCharm: Python IDE for Professional Developers by JetBrains中下载community版本的pycharm（免费且够用）

pycharm安装中文插件（安装后重启pycharm即可）

3、如果向博主一样需要直接打开文件运行，可能需要添加一下解释器

二爬虫的流程

1、获取网页内容（浏览器会将内容渲染成更直观的页面，而程序获得的网页是一串代码）

http请求（python request实现）

2、解析网页内容（在全面的内容中把想要的数据提取出来）

html格式（python Beautiful Soup库）

3、储存或分析数据

注意事项

1、请求数量和频率不要太高（无异于DDoS攻击）

2、有反爬限制（例如验证码）就不要强行突破

三、什么事HTTP请求和响应

HTTP（Hypertext Transfer Protocol超文本传输协议）

HTTP请求

GET方法：获得数据

POST方法：创建数据

七、什么是HTML网页结构

网页三大要素：

（1）HTML定义网页的结构和信息（爬虫最需要关心的）

（2）CSS 定义网页的样式 //网站背景样式

（3）JavaScript 定义用户和网页的交互逻辑

<!DOCTYPE HTML>
<html><body><h1>这是一个标题</h1><p>这是一段文字这是一段文字这是一段文字<p></body>
<!html>

显示网页源代码

mac用户先在safari高级选项中设置，然后在开发中打开

七、HTML常见标签

7.1 标题数字越小，字号越大

<h1> 这是一个一级标题 </h1>
<h2> 这是一个二级标题 </h2>
<h3> 这是一个三级标题 </h3>
<h4> 这是一个四级标题 </h4>
<h5> 这是一个五级标题 </h5>
<h6> 这是一个六级标题 </h6>

7.2 文本段落

<p>给岁月<br>以文明</p>
<p>而不是给文明以岁月</p>
<br>   //是强制换行
<b> </b> //加粗
<i> </i> //斜体
<u> </u> //下划线
<img src="链接" width=“500px”> //图片
<a href="https://...">我的主页</a> //超链接

7.3 容器

7.4 有序列表ordered list/无序列表unordered list

<ol> //有序列表<li>语文</li><li>数学</li><li>英语</li>
</ol><ul> //无序列表<li>语文</li><li>数学</li><li>英语</li>
</ul>

7.5 表格行

7.6 class属性

爬虫（bilibili热门课程记录）

什么是爬虫？程序蜘蛛，沿着互联网获取相关信息，收集目标信息。一、python环境安装 1、先从Download Python | Python.org中下载最新版本的python解释器 2、再从Download PyCharm: Python IDE for Professional Developers by JetBrains中下…...

编程日记 2023/8/27 21:48:59

增: # 1. 找到模型类并创建对象 user User() # 2. 给对象的属性赋值 user.username username user.password password user.phone phone # 3. 将user对象添加到session中 (类似缓存) db.session.add(user) # 4. 提交数据 db.session.commit() 删: # 两种删除:# 1. 逻辑删…...

编程日记 2023/8/27 21:47:56

C#与西门子PLC1500的ModbusTcp服务器通信3--搭建ModbusTcp服务器

1、打开仿真工具，创建PLC，注意创建完成后不要关闭注意，这个IP地址必须与西门子虚拟网卡的IP地址及虚拟机的网卡IP地址同一网段 2、打开博途V15，创建项目，命名为Lan项目 3、添加1500系列CPU1513 4、设置设置IP地址及属…...

编程日记 2023/8/27 21:46:54

Linux系统编程：线程控制

目录一. 线程的创建 1.1 pthread_create函数 1.2 线程id的本质二. 多线程中的异常和程序替换 2.1 多线程程序异常 2.2 多线程中的程序替换三. 线程等待四. 线程的终止和分离 4.1 线程函数return 4.2 线程取消 pthread_cancel 4.3 线程退出 pthread_exit 4.4 线程…...

编程日记 2023/8/27 21:45:53

基于Java+SpringBoot+Vue前后端分离纺织品企业财务管理系统设计和实现

博主介绍：✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专…...

编程日记 2023/8/27 21:44:52

搭建开发环境-Windows

写C# 的请出去。然后，Windows 是最好的Linux发行版。搭建开发环境-WSLUbuntu...

编程日记 2023/8/27 21:43:50

【 Python 全栈开发 - 人工智能篇 - 45 】集成算法与聚类算法

文章目录一、集成算法1.1 概念1.2 常用集成算法1.2.1 Bagging1.2.2 Boosting1.2.2.1 AdaBoost1.2.2.2 GBDT1.2.2.3 XgBoost 1.2.3 Stacking 二、聚类算法2.1 概念2.2 常用聚类算法2.2.1 K-means2.2.2 层次聚类2.2.3 DBSCAN算法2.2.4 AP聚类算法2.2.5 高斯混合模型聚类算法一、…...

编程日记 2023/8/27 21:42:49

SSM商城项目实战：账户充值功能实现

SSM商城项目实战：账户充值功能实现在一个电商平台中，用户账户充值是一个非常重要的功能。本文将介绍如何在SSM（SpringSpringMVCMyBatis）商城项目中实现账户充值功能。通过本文的指导，你将学会如何在项目中添加账户充…...

编程日记 2023/8/27 21:41:48

wireshark工具pcap文件转换

pcap详解_pcap_loop_小虎随笔的博客-CSDN博客分析802.11无线报文hexdump内容：利用wireshark自带二进制工具text2pcap将hexdump内容转换为pcap文件..._weixin_30835933的博客-CSDN博客 text2pcap: 将hex转储文本转换为Wireshark可打开的pcap文件(wireshark,数据) …...

编程日记 2023/8/27 21:40:46

Python+TinyPNG熊猫网站自动化的压缩图片

前言本篇在讲什么 PythonTinyPNG自动化处理图片本篇需要什么对Python语法有简单认知依赖Python2.7环境依赖TinyPNG工具本篇的特色具有全流程的图文教学重实践，轻理论，快速上手提供全流程的源码内容 ★提高阅读体验★ 👉…...

编程日记 2023/8/27 21:39:44

【Linux】socket 编程基础

文章目录 📕 网络间的通信📕 socket 是什么1. socket 套接字2. 套接字描述符3. 基本的 socket 接口函数3.1 头文件3.2 socket() 函数3.3 bind() 函数struct sockaddr主机序列与网络序列 3.4 listen() 函数3.5 connect() 函数3.6 accept() 函数IP 地址风格…...

编程日记 2023/8/27 21:38:43

openGauss学习笔记-51 openGauss 高级特性-列存储

文章目录 openGauss学习笔记-51 openGauss 高级特性-列存储51.1 语法格式51.2 参数说明51.3 示例 openGauss学习笔记-51 openGauss 高级特性-列存储 openGauss支持行列混合存储。行存储是指将表按行存储到硬盘分区上，列存储是指将表按列存储到硬盘分区上。行、列…...

编程日记 2023/8/27 21:37:41

ReactNative 密码生成器实战

效果展示图使用插件 Formik 负责表单校验、监听表单提交、数据校验错误信息展示 Yup 负责表单校验规则分析页面从上述的展示图我们可以看到的主要元素有：输入框、单选按钮和按钮。其中生成的密码长度不可能很大也不可能为负数和 0，所以我们可以限…...

编程日记 2023/8/27 21:36:40

开始MySQL之路——外键关联和多表联合查询详细概述

多表查询和外键关联实际开发中，一个项目通常需要很多张表才能完成。例如，一个商城项目就需要分类表，商品表，订单表等多张表。且这些表的数据之间存在一定的关系，接下来我们将在单表的基础上，一起学习多表…...

编程日记 2023/8/27 21:35:38

无涯教程-PHP - intval() 函数

PHP 7引入了一个新函数 intdiv()，该函数对其操作数执行整数除法并将该除法返回为int。 <?php$valueintdiv(10,3);var_dump($value);print(" ");print($value); ?> 它产生以下浏览器输出- int(3) 3 PHP - intval() 函数 - 无涯教程网无涯教程网…...

编程日记 2023/8/27 21:34:37

2023年国赛数学建模思路 - 案例：粒子群算法

文章目录 1 什么是粒子群算法？2 举个例子3 还是一个例子算法流程算法实现建模资料 # 0 赛题思路 （赛题出来以后第一时间在CSDN分享） https://blog.csdn.net/dc_sinor?typeblog 1 什么是粒子群算法？ 粒子群算法（Pa…...

编程日记 2023/8/27 21:33:36

【1++的数据结构】之map与set（一）

👍作者主页：进击的1 🤩 专栏链接：【1的数据结构】文章目录一，关联式容器与键值对二，setset的使用三，mapmap的使用四，multiset与multimap 一，关联式容器与键值对像l…...

编程日记 2023/8/27 21:32:34

Ubuntu断电重启后黑屏左上角光标闪烁，分辨率低解决办法，ubuntu系统display只有4:3 怎么办?太卡

这个问题主要是显卡驱动问题，按照步骤更新显卡驱动 1，选择metapackage 并且选择proprietary版本，选择版本号选择最新的版本。 2，具体步骤参考前言笔者在安装显卡驱动时并未遇到问题，主要是后续屏幕亮度无法调节&…...

编程日记 2023/8/27 21:31:32

Java 微服务当中POST form 、url、json的区别

在Java微服务的Controller中，你可以处理来自客户端的不同类型的POST请求，包括POST form、POST URL参数和POST JSON数据。以下是它们的区别以及在微服务Controller中的示例说明： POST Form 表单数据： 当客户端以表单方式提交数据…...

编程日记 2023/8/27 21:30:31

repo 常用命令汇总——202308

文章目录 1. 下载repo：2. 获取工程repo信息3. 下载代码4. 创建并切换本地分支5. repo forall6. repo upload7. repo list8. repo info9. repo help 1. 下载repo： 使用下面命令，具体版本号参考前面网页中显示的最新版本号。 curl http://git…...

编程日记 2023/8/27 21:29:28

浅谈 React Hooks

React Hooks 是 React 16.8 引入的一组 API，用于在函数组件中使用 state 和其他 React 特性（例如生命周期方法、context 等）。Hooks 通过简洁的函数接口，解决了状态与 UI 的高度解耦，通过函数式编程范式实现更灵活 Rea…...

编程新知 2025/9/23 15:13:40

Leetcode 3576. Transform Array to All Equal Elements

Leetcode 3576. Transform Array to All Equal Elements 1. 解题思路2. 代码实现题目链接：3576. Transform Array to All Equal Elements 1. 解题思路这一题思路上就是分别考察一下是否能将其转化为全1或者全-1数组即可。至于每一种情况是否可以达到&#xf…...

编程新知 2025/9/17 7:25:07