当前位置：首页 > news >正文

python - 爬虫简介

news 2026/2/10 12:19:24

什么是爬虫？

模拟浏览器对网站服务器发送请求
解析服务器返回的响应数据，并保存数据

爬虫能获取哪些数据？

原则上所有可以通过浏览器获取的数据都可以爬取
爬虫也只能获取爬取浏览器可以正常获取的数据

爬虫的应用场景？

数据分析 (如电影票房、股票信息、商品销量等)
舆情监控(如微博、论坛等)
搜索引擎刷浏览播放量等(如各类自媒体账号)
抢票投票(对购票、投票接口发送请求)
网络安全(短信轰炸- 多个网站发送验证码)

为什么会有反爬?

防止有价值的数据被恶意获取
封锁垃圾流量，降低服务器的压力和运行成本

爬虫与反爬的对抗？

部分数据需要登录才能获取
通过验证码甄别真人与爬虫
监测同一IP 地址单位时间内的请求量
请求需要携带特定的数据
响应数据被加密，需要特定的算法解密

学习内容

如何爬取网页数据? （如何对服务器发送请求，获取源文件）
- Requests 模块（对服务器发送请求，获取数据）
- 模拟真实浏览器状态
- 设置 Proxy 代理IP（避免单个ip发送过快，被服务器认为是爬虫）
如何提取关键数据?（如何在源文件中获取有用的数据）
- 正则表达式
- XPath 表达式
如何储存提取到的数据?
- MongoDB 数据库
Scrapy 框架爬取海量数据
- 集成发送请求，数据解析，数据保存
- Scrapy 结合 MongoDB 储存数据
Scrapy-Redis 分布式爬虫（多个机器共同爬取一个任务）
- Redis 数据库
- Scrapy-Redis 框架
模拟登陆
- 登陆原理: Cookie 和 Session
- Selenium 浏览器自动化
- 爬取需要登陆才能获取的数据
验证码识别
- OpenCV 计算机视觉
- OCR 文字识别引擎
- EasyDL 机器学习云服务
反爬与反反爬
- 破解文字加密反爬
- 各类加密算法:MD5，SHA256，AES，RSAc
- JS逆向分析:还原网站的加密流程
拓展内容
- 数据分析: Pandas 模块
- 高频面试题目

爬虫合法么?

作为技术本身在法律中是不被禁止的
爬虫能获取的数据都是能通过浏览器正常获取的公开数据
爬虫只是更快速的获取大量数据

有法律风险的情况？

结合爬虫对网站服务器进行黑客攻击
通过获取的数据谋取经济利益
通过爬虫进行不当的商业竞争
爬取的数据侵犯了对方的版权或隐私权

如何规避法律风险？

切勿对网站服务器进行大规模的请求轰炸
切勿对爬取到的数据进行公开传播或售卖
切勿对涉及知识产权和用户隐私的数据进行爬取

python - 爬虫简介

什么是爬虫？ 模拟浏览器对网站服务器发送请求解析服务器返回的响应数据，并保存数据爬虫能获取哪些数据？ 原则上所有可以通过浏览器获取的数据都可以爬取爬虫也只能获取爬取浏览器可以正常获取的数据爬虫的应用场景？ 数据分…...

编程日记 2023/8/12 6:16:02

【结构型设计模式】C#设计模式之外观模式

题目描述： 假设你正在开发一个音乐播放器应用程序，该应用程序需要与多个子系统进行交互，包括音频解码、音量控制和播放控制等。请使用外观模式设计一个音乐播放器的外观类，并实现相应的子系统类。要求： 创建一个外观…...

编程日记 2023/8/12 6:15:01

Linux网络编程 socket编程篇(一) socket编程基础

目录一、预备知识 1.IP地址 2.端口号 3.网络通信 4.TCP协议简介 5.UDP协议简介 6.网络字节序二、socket 1.什么是socket(套接字)？ 2.为什么要有套接字？ 3.套接字的主要类型拓】网络套接字三、socket API 1.socket API是什么？ 2.为什么…...

编程日记 2023/8/12 6:14:00

【二】SPI IP核的使用

【一】SPI IP核使用：传送门基于qsys通过spi外部总线协议对sd卡进行读写操作一、实验平台与实验的目的： 正点原子开拓者、芯片型号：EP4CE10F17C8；还需要一张sd卡。该实验主要是利用SPI IP核驱动SD卡来实现读写实验&am…...

编程日记 2023/8/12 6:12:58

面试热题（二叉树的锯齿形层次遍历）

给你二叉树的根节点 root ，返回其节点值的锯齿形层序遍历。（即先从左往右，再从右往左进行下一层遍历，以此类推，层与层之间交替进行） 输入：root [3,9,20,null,null,15,7] 输出：[[3…...

编程日记 2023/8/12 6:11:56

JVM—内存管理（运行时数据区）、垃圾回收

背景介绍当JVM类加载器加载完字节码文件之后，会交给执行引擎执行，在执行的过程中会有一块JVM内存区域来存放程序运行过程中的数据，也就是我们图中放的运行时数据区，那这一块运行时数据区究竟帮我们做了哪些工作？我们…...

编程日记 2023/8/12 6:10:54

一百五十一、Kettle——Linux上安装的kettle8.2开启carte服务

一、目的 kettle8.2在Linux上安装好可以启动界面、并且可以连接MySQL、Hive、ClickHouse等数据库后，准备在Linux上启动kettle的carte服务二、实施步骤 （一）carte服务文件路径 kettle的Linux运行的carte服务文件是carte.sh （二…...

编程日记 2023/8/12 6:09:52

19. python从入门到精通——Web编程

HTTP协议 HTTP协议的常用方法方法描述 GET 请求指定的页面信息，并返回实体主体。 POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 …...

编程日记 2023/8/12 6:08:51

安装https://www.cnblogs.com/mafly/p/postman.html Postman 使用方法详解https://blog.csdn.net/fxbin123/article/details/80428216 postman进行http接口测试https://blog.csdn.net/five3/article/details/53021084 postman的使用方法详解！最全面的教程https:/…...

编程日记 2023/8/12 6:07:50

Http常见状态码

一、状态码大类状态码分类说明1xx响应中——临时状态码，表示请求已经接受，告诉客户端应该继续请求或者如果它已经完成则忽略它2xx成功——表示请求已经被成功接收，处理已完成3xx重定向——重定向到其它地方：它让客户端再发起一个…...

编程日记 2023/8/12 6:06:49

C语言之位运算

一、什么是位运算所谓位运算是指进行二进制位的运算在系统软件中，常要处理二进位的问题例如，将一个存储单元中的各二进位左移或右移一位，两个数按位相加等二、位运算符和位运算 1、按位与运算符(&) 参加运算的两个数据&#xff…...

编程日记 2023/8/12 6:05:46

c语言进阶部分详解（数据在内存中的存储）

大家好，今天要进行梳理的内容是数据在内存中的存储相关内容。在C语言中，数据在内存中的存储是一个非常重要的概念。了解数据在内存中的存储方式可以帮助我们更好地理解程序的执行过程，优化内存使用，提高程序的性能。目录一.数…...

编程日记 2023/8/12 6:04:45

VIOOVI的ECRS工时分析软件分析：SOP的核心和特征是什么？

制定SOP的主要目的是为企业做技术储备、提供企业的工作效率、防止同样的错误反复出现、让员工作业有标准化的行为准则。以规定的成本、规定的工作时间，生产质量均匀、符合规范的产品。为了能够达到上述要求，如果制造现场的操作混乱，比如制作工…...

编程日记 2023/8/12 6:03:45

无涯教程-Perl - lock函数

描述此函数将咨询锁放在共享变量或THING中包含的引用对象上,直到该锁超出范围。 lock()是一个"弱关键字":这意味着,如果您在调用该函数之前已通过该名称定义了该函数,则将改为调用该函数。语法以下是此函数的简单语法- lock THING返回值此函数不返回任何值…...

编程日记 2023/8/12 6:02:44

SpringBoot案例-部门管理-前后端联调

前后端联调教学资料中提供了“前端工程”，将其解压即可使用nginx，启动nginx后，访问：http://localhost:90 小结开发流程明确需求、阅读接口文档、思路分析、接口开发（遵循接口文档）接口调试 postman测…...

编程日记 2023/8/12 6:01:42

每天一道leetcode：139. 单词拆分（动态规划中等）

今日份题目： 给你一个字符串 s 和一个字符串列表 wordDict 作为字典。请你判断是否可以利用字典中出现的单词拼接出 s 。注意：不要求字典中出现的单词全部都使用，并且字典中的单词可以重复使用。示例1 输入: s "leetcode", …...

编程日记 2023/8/12 6:00:41

【C++】友元（含内部类）

一、友元是什么我把你添加为我的友元，那么你可以访问我的成员。特别注意：它是单向的。即，我把你添加为我的友元，我却不能访问你的成员，除非你把我添加为你的友元。以下代码可以让你粗略了解友元的使用。 #includ…...

编程日记 2023/8/12 5:59:40

SQL | 检索数据

1-检索数据 1.1-检索单个列 SELECT prod_name FROM Products; 上述SELECT语句从Products表中检索一个名为prod_name的列。所要查找的列在select后面，from关键字指出从那个表查询数据。输出如下： prod_name8 inch teddy bear12 inch teddy bear18…...

编程日记 2023/8/12 5:58:39

typeScript 之运算符

工具： PlayGround 算术运算符运算符描述加-减*乘/除%取模(求余)自增–自减注意和--，实例： let value 0; console.log(value); //0, 先显示再增加后为1 console.log(value); //2，先增加后为2再显示关系运算符运算符描述 …...

编程日记 2023/8/12 5:57:38

BGP实验

题目 IP地址配置 172.16.X.0/24为模拟用户环回接口接口 172.16.7.X/32为BGP邻居关系建立的环回接口 R1： R2： R3： R4： R5： R6： R7： R8： BGP邻居关系建立、宣告和反射器、联邦配置 R…...

编程日记 2023/8/12 5:56:37

19c补丁后oracle属主变化，导致不能识别磁盘组

补丁后服务器重启，数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后，存在与用户组权限相关的问题。具体表现为，Oracle 实例的运行用户（oracle）和集…...

编程新知 2026/2/8 4:37:10

使用分级同态加密防御梯度泄漏

抽象联邦学习 （FL） 支持跨分布式客户端进行协作模型训练，而无需共享原始数据，这使其成为在互联和自动驾驶汽车 （CAV） 等领域保护隐私的机器学习的一种很有前途的方法。然而，最近的研究表明&…...

编程新知 2026/1/24 6:22:43

苍穹外卖--缓存菜品

1.问题说明用户端小程序展示的菜品数据都是通过查询数据库获得，如果用户端访问量比较大，数据库访问压力随之增大 2.实现思路通过Redis来缓存菜品数据，减少数据库查询操作。缓存逻辑分析： ①每个分类下的菜品保持一份缓存数据…...

编程新知 2026/2/7 15:39:49

Caliper 配置文件解析：config.yaml

Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...

编程新知 2025/8/13 13:40:18

自然语言处理——循环神经网络

自然语言处理——循环神经网络循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式参数学习和长程依赖问题基于门控的循环神经网络门控循环单元（GRU）长短期记忆神经网络（LSTM&#xff09…...

编程新知 2026/2/4 11:21:40

【笔记】WSL 中 Rust 安装与测试完整记录

#工作记录 WSL 中 Rust 安装与测试完整记录 1. 运行环境系统：Ubuntu 24.04 LTS (WSL2)架构：x86_64 (GNU/Linux)Rust 版本：rustc 1.87.0 (2025-05-09)Cargo 版本：cargo 1.87.0 (2025-05-06) 2. 安装 Rust 2.1 使用 Rust 官方安…...

编程新知 2026/1/26 14:15:48