当前位置： 首页 > news >正文

python - 爬虫简介

news 2026/2/10 17:31:36
什么是爬虫？
  1. 模拟浏览器对网站服务器发送请求
  2. 解析服务器返回的响应数据，并保存数据
爬虫能获取哪些数据？
  1. 原则上所有可以通过浏览器获取的数据都可以爬取
  2. 爬虫也只能获取爬取浏览器可以正常获取的数据
爬虫的应用场景？
  1. 数据分析 (如电影票房、股票信息、商品销量等)
  2. 舆情监控(如微博、论坛等)
  3. 搜索引擎刷浏览播放量等(如各类自媒体账号)
  4. 抢票投票(对购票、投票接口发送请求)
  5. 网络安全(短信轰炸- 多个网站发送验证码)
为什么会有反爬?
  1. 防止有价值的数据被恶意获取
  2. 封锁垃圾流量，降低服务器的压力和运行成本
爬虫与反爬的对抗？
  1. 部分数据需要登录才能获取
  2. 通过验证码甄别真人与爬虫
  3. 监测同一IP 地址单位时间内的请求量
  4. 请求需要携带特定的数据
  5. 响应数据被加密，需要特定的算法解密
学习内容
  • 如何爬取网页数据? （如何对服务器发送请求，获取源文件）
    • Requests 模块（对服务器发送请求，获取数据 ）
    • 模拟真实浏览器状态
    • 设置 Proxy 代理IP（避免单个ip发送过快，被服务器认为是爬虫）
  • 如何提取关键数据?（如何在源文件中获取有用的数据）
    • 正则表达式
    • XPath 表达式
  • 如何储存提取到的数据?
    • MongoDB 数据库
  • Scrapy 框架爬取海量数据
    • 集成发送请求，数据解析，数据保存
    • Scrapy 结合 MongoDB 储存数据
  • Scrapy-Redis 分布式爬虫（多个机器共同爬取一个任务）
    • Redis 数据库
    • Scrapy-Redis 框架
  • 模拟登陆
    • 登陆原理: Cookie 和 Session
    • Selenium 浏览器自动化
    • 爬取需要登陆才能获取的数据
  • 验证码识别
    • OpenCV 计算机视觉
    • OCR 文字识别引擎
    • EasyDL 机器学习云服务
  • 反爬与反反爬
    • 破解文字加密反爬
    • 各类加密算法:MD5，SHA256，AES，RSAc
    • JS逆向分析:还原网站的加密流程
  • 拓展内容
    • 数据分析: Pandas 模块
    • 高频面试题目
爬虫合法么?
  • 作为技术本身在法律中是不被禁止的
  • 爬虫能获取的数据都是能通过浏览器正常获取的公开数据
  • 爬虫只是更快速的获取大量数据

有法律风险的情况？ 

  • 结合爬虫对网站服务器进行黑客攻击
  • 通过获取的数据谋取经济利益
  • 通过爬虫进行不当的商业竞争
  • 爬取的数据侵犯了对方的版权或隐私权

如何规避法律风险？

  • 切勿对网站服务器进行大规模的请求轰炸
  • 切勿对爬取到的数据进行公开传播或售卖
  • 切勿对涉及知识产权和用户隐私的数据进行爬取

相关文章：

python - 爬虫简介

什么是爬虫？ 模拟浏览器对网站服务器发送请求解析服务器返回的响应数据，并保存数据 爬虫能获取哪些数据？ 原则上所有可以通过浏览器获取的数据都可以爬取爬虫也只能获取爬取浏览器可以正常获取的数据 爬虫的应用场景？ 数据分…...

编程日记 2023/8/12 6:16:02

【结构型设计模式】C#设计模式之外观模式

题目描述： 假设你正在开发一个音乐播放器应用程序，该应用程序需要与多个子系统进行交互，包括音频解码、音量控制和播放控制等。请使用外观模式设计一个音乐播放器的外观类，并实现相应的子系统类。 要求： 创建一个外观…...

编程日记 2023/8/12 6:15:01

Linux网络编程 socket编程篇(一) socket编程基础

目录 一、预备知识 1.IP地址 2.端口号 3.网络通信 4.TCP协议简介 5.UDP协议简介 6.网络字节序 二、socket 1.什么是socket(套接字)？ 2.为什么要有套接字？ 3.套接字的主要类型 拓】网络套接字 三、socket API 1.socket API是什么？ 2.为什么…...

编程日记 2023/8/12 6:14:00

【二】SPI IP核的使用

【一】SPI IP核使用：传送门 基于qsys通过spi外部总线协议对sd卡进行读写操作 一、实验平台与实验的目的： ​ 正点原子开拓者、芯片型号：EP4CE10F17C8；还需要一张sd卡。 ​ 该实验主要是利用SPI IP核驱动SD卡来实现读写实验&am…...

编程日记 2023/8/12 6:12:58

面试热题（二叉树的锯齿形层次遍历）

给你二叉树的根节点 root ，返回其节点值的 锯齿形层序遍历 。（即先从左往右，再从右往左进行下一层遍历，以此类推，层与层之间交替进行） 输入：root [3,9,20,null,null,15,7] 输出：[[3…...

编程日记 2023/8/12 6:11:56

JVM—内存管理（运行时数据区）、垃圾回收

背景介绍 当JVM类加载器加载完字节码文件之后，会交给执行引擎执行，在执行的过程中会有一块JVM内存区域来存放程序运行过程中的数据，也就是我们图中放的运行时数据区，那这一块运行时数据区究竟帮我们做了哪些工作？我们…...

编程日记 2023/8/12 6:10:54

一百五十一、Kettle——Linux上安装的kettle8.2开启carte服务

一、目的 kettle8.2在Linux上安装好可以启动界面、并且可以连接MySQL、Hive、ClickHouse等数据库后，准备在Linux上启动kettle的carte服务 二、实施步骤 （一）carte服务文件路径 kettle的Linux运行的carte服务文件是carte.sh （二…...

编程日记 2023/8/12 6:09:52

19. python从入门到精通——Web编程

HTTP协议 HTTP协议的常用方法 方法 描述 GET 请求指定的页面信息，并返回实体主体。 POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 …...

编程日记 2023/8/12 6:08:51

PostMan 教程

安装https://www.cnblogs.com/mafly/p/postman.html Postman 使用方法详解https://blog.csdn.net/fxbin123/article/details/80428216 postman进行http接口测试https://blog.csdn.net/five3/article/details/53021084 postman的使用方法详解！最全面的教程https:/…...

编程日记 2023/8/12 6:07:50

Http常见状态码

一、状态码大类 状态码分类说明1xx响应中——临时状态码，表示请求已经接受，告诉客户端应该继续请求或者如果它已经完成则忽略它2xx成功——表示请求已经被成功接收，处理已完成3xx重定向——重定向到其它地方：它让客户端再发起一个…...

编程日记 2023/8/12 6:06:49

C语言之位运算

一、什么是位运算 所谓位运算是指进行二进制位的运算 在系统软件中，常要处理二进位的问题 例如，将一个存储单元中的各二进位左移或右移一位，两个数按位相加等 二、位运算符和位运算 1、按位与 运算符(&) 参加运算的两个数据&#xff…...

编程日记 2023/8/12 6:05:46

c语言进阶部分详解（数据在内存中的存储）

大家好，今天要进行梳理的内容是数据在内存中的存储相关内容。 在C语言中，数据在内存中的存储是一个非常重要的概念。了解数据在内存中的存储方式可以帮助我们更好地理解程序的执行过程，优化内存使用，提高程序的性能。 目录 一.数…...

编程日记 2023/8/12 6:04:45

VIOOVI的ECRS工时分析软件分析：SOP的核心和特征是什么？

制定SOP的主要目的是为企业做技术储备、提供企业的工作效率、防止同样的错误反复出现、让员工作业有标准化的行为准则。以规定的成本、规定的工作时间，生产质量均匀、符合规范的产品。为了能够达到上述要求，如果制造现场的操作混乱，比如制作工…...

编程日记 2023/8/12 6:03:45

无涯教程-Perl - lock函数

描述 此函数将咨询锁放在共享变量或THING中包含的引用对象上,直到该锁超出范围。 lock()是一个"弱关键字":这意味着,如果您在调用该函数之前已通过该名称定义了该函数,则将改为调用该函数。 语法 以下是此函数的简单语法- lock THING返回值 此函数不返回任何值…...

编程日记 2023/8/12 6:02:44

SpringBoot案例-部门管理-前后端联调

前后端联调 教学资料中提供了“前端工程”，将其解压即可使用nginx，启动nginx后，访问：http://localhost:90 小结 开发流程 明确需求、阅读接口文档、思路分析、接口开发（遵循接口文档）接口调试 postman测…...

编程日记 2023/8/12 6:01:42

每天一道leetcode：139. 单词拆分（动态规划中等）

今日份题目： 给你一个字符串 s 和一个字符串列表 wordDict 作为字典。请你判断是否可以利用字典中出现的单词拼接出 s 。 注意：不要求字典中出现的单词全部都使用，并且字典中的单词可以重复使用。 示例1 输入: s "leetcode", …...

编程日记 2023/8/12 6:00:41

【C++】友元（含内部类）

一、友元是什么 我把你添加为我的友元，那么你可以访问我的成员。特别注意：它是单向的。即，我把你添加为我的友元，我却不能访问你的成员，除非你把我添加为你的友元。 以下代码可以让你粗略了解友元的使用。 #includ…...

编程日记 2023/8/12 5:59:40

SQL | 检索数据

1-检索数据 1.1-检索单个列 SELECT prod_name FROM Products; 上述SELECT语句从Products表中检索一个名为prod_name的列。 所要查找的列在select后面，from关键字指出从那个表查询数据。 输出如下： prod_name8 inch teddy bear12 inch teddy bear18…...

编程日记 2023/8/12 5:58:39

typeScript 之 运算符

工具： PlayGround 算术运算符 运算符描述加-减*乘/除%取模(求余)自增–自减 注意和--，实例： let value 0; console.log(value); //0, 先显示再增加后为1 console.log(value); //2，先增加后为2再显示关系运算符 运算符描述 …...

编程日记 2023/8/12 5:57:38

BGP实验

题目 IP地址配置 172.16.X.0/24为模拟用户环回接口接口 172.16.7.X/32为BGP邻居关系建立的环回接口 R1： R2： R3： R4： R5： R6： R7： R8： BGP邻居关系建立、宣告和反射器、联邦配置 R…...

编程日记 2023/8/12 5:56:37

Python｜GIF 解析与构建（5）：手搓截屏和帧率控制

目录 Python｜GIF 解析与构建（5）：手搓截屏和帧率控制 一、引言 二、技术实现：手搓截屏模块 2.1 核心原理 2.2 代码解析：ScreenshotData类 2.2.1 截图函数：capture_screen 三、技术实现&…...

编程新知 2025/11/14 3:06:30

工业安全零事故的智能守护者：一体化AI智能安防平台

前言： 通过AI视觉技术，为船厂提供全面的安全监控解决方案，涵盖交通违规检测、起重机轨道安全、非法入侵检测、盗窃防范、安全规范执行监控等多个方面，能够实现对应负责人反馈机制，并最终实现数据的统计报表。提升船厂…...

编程新知 2026/1/21 9:20:07

多场景 OkHttpClient 管理器 - Android 网络通信解决方案

下面是一个完整的 Android 实现&#xff0c;展示如何创建和管理多个 OkHttpClient 实例&#xff0c;分别用于长连接、普通 HTTP 请求和文件下载场景。 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas…...

编程新知 2025/12/15 1:34:37

【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）

可以使用Sqliteviz这个网站免费编写sql语句&#xff0c;它能够让用户直接在浏览器内练习SQL的语法&#xff0c;不需要安装任何软件。 链接如下&#xff1a; sqliteviz 注意&#xff1a; 在转写SQL语法时&#xff0c;关键字之间有一个特定的顺序&#xff0c;这个顺序会影响到…...

编程新知 2026/2/5 4:36:53

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2026/1/29 17:54:05

实现弹窗随键盘上移居中

实现弹窗随键盘上移的核心思路 在Android中&#xff0c;可以通过监听键盘的显示和隐藏事件&#xff0c;动态调整弹窗的位置。关键点在于获取键盘高度&#xff0c;并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...

编程新知 2025/10/6 18:46:56

如何理解 IP 数据报中的 TTL？

目录 前言理解 前言 面试灵魂一问&#xff1a;说说对 IP 数据报中 TTL 的理解&#xff1f;我们都知道&#xff0c;IP 数据报由首部和数据两部分组成&#xff0c;首部又分为两部分&#xff1a;固定部分和可变部分&#xff0c;共占 20 字节&#xff0c;而即将讨论的 TTL 就位于首…...

编程新知 2026/2/4 18:09:49

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2026/1/31 2:13:57

QT3D学习笔记——圆台、圆锥

类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体&#xff08;对象或容器&#xff09;QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质&#xff08;定义颜色、反光等&#xff09;QFirstPersonC…...

编程新知 2026/1/29 5:26:37

【安全篇】金刚不坏之身：整合 Spring Security + JWT 实现无状态认证与授权

摘要 本文是《Spring Boot 实战派》系列的第四篇。我们将直面所有 Web 应用都无法回避的核心问题&#xff1a;安全。文章将详细阐述认证&#xff08;Authentication) 与授权&#xff08;Authorization的核心概念&#xff0c;对比传统 Session-Cookie 与现代 JWT&#xff08;JS…...

编程新知 2025/12/7 16:12:52