当前位置： 首页 > news >正文

python - 爬虫简介

news 2025/10/10 3:15:58
什么是爬虫？
  1. 模拟浏览器对网站服务器发送请求
  2. 解析服务器返回的响应数据，并保存数据
爬虫能获取哪些数据？
  1. 原则上所有可以通过浏览器获取的数据都可以爬取
  2. 爬虫也只能获取爬取浏览器可以正常获取的数据
爬虫的应用场景？
  1. 数据分析 (如电影票房、股票信息、商品销量等)
  2. 舆情监控(如微博、论坛等)
  3. 搜索引擎刷浏览播放量等(如各类自媒体账号)
  4. 抢票投票(对购票、投票接口发送请求)
  5. 网络安全(短信轰炸- 多个网站发送验证码)
为什么会有反爬?
  1. 防止有价值的数据被恶意获取
  2. 封锁垃圾流量，降低服务器的压力和运行成本
爬虫与反爬的对抗？
  1. 部分数据需要登录才能获取
  2. 通过验证码甄别真人与爬虫
  3. 监测同一IP 地址单位时间内的请求量
  4. 请求需要携带特定的数据
  5. 响应数据被加密，需要特定的算法解密
学习内容
  • 如何爬取网页数据? （如何对服务器发送请求，获取源文件）
    • Requests 模块（对服务器发送请求，获取数据 ）
    • 模拟真实浏览器状态
    • 设置 Proxy 代理IP（避免单个ip发送过快，被服务器认为是爬虫）
  • 如何提取关键数据?（如何在源文件中获取有用的数据）
    • 正则表达式
    • XPath 表达式
  • 如何储存提取到的数据?
    • MongoDB 数据库
  • Scrapy 框架爬取海量数据
    • 集成发送请求，数据解析，数据保存
    • Scrapy 结合 MongoDB 储存数据
  • Scrapy-Redis 分布式爬虫（多个机器共同爬取一个任务）
    • Redis 数据库
    • Scrapy-Redis 框架
  • 模拟登陆
    • 登陆原理: Cookie 和 Session
    • Selenium 浏览器自动化
    • 爬取需要登陆才能获取的数据
  • 验证码识别
    • OpenCV 计算机视觉
    • OCR 文字识别引擎
    • EasyDL 机器学习云服务
  • 反爬与反反爬
    • 破解文字加密反爬
    • 各类加密算法:MD5，SHA256，AES，RSAc
    • JS逆向分析:还原网站的加密流程
  • 拓展内容
    • 数据分析: Pandas 模块
    • 高频面试题目
爬虫合法么?
  • 作为技术本身在法律中是不被禁止的
  • 爬虫能获取的数据都是能通过浏览器正常获取的公开数据
  • 爬虫只是更快速的获取大量数据

有法律风险的情况？ 

  • 结合爬虫对网站服务器进行黑客攻击
  • 通过获取的数据谋取经济利益
  • 通过爬虫进行不当的商业竞争
  • 爬取的数据侵犯了对方的版权或隐私权

如何规避法律风险？

  • 切勿对网站服务器进行大规模的请求轰炸
  • 切勿对爬取到的数据进行公开传播或售卖
  • 切勿对涉及知识产权和用户隐私的数据进行爬取

相关文章：

python - 爬虫简介

什么是爬虫？ 模拟浏览器对网站服务器发送请求解析服务器返回的响应数据，并保存数据 爬虫能获取哪些数据？ 原则上所有可以通过浏览器获取的数据都可以爬取爬虫也只能获取爬取浏览器可以正常获取的数据 爬虫的应用场景？ 数据分…...

编程日记 2023/8/12 6:16:02

【结构型设计模式】C#设计模式之外观模式

题目描述： 假设你正在开发一个音乐播放器应用程序，该应用程序需要与多个子系统进行交互，包括音频解码、音量控制和播放控制等。请使用外观模式设计一个音乐播放器的外观类，并实现相应的子系统类。 要求： 创建一个外观…...

编程日记 2023/8/12 6:15:01

Linux网络编程 socket编程篇(一) socket编程基础

目录 一、预备知识 1.IP地址 2.端口号 3.网络通信 4.TCP协议简介 5.UDP协议简介 6.网络字节序 二、socket 1.什么是socket(套接字)？ 2.为什么要有套接字？ 3.套接字的主要类型 拓】网络套接字 三、socket API 1.socket API是什么？ 2.为什么…...

编程日记 2023/8/12 6:14:00

【二】SPI IP核的使用

【一】SPI IP核使用：传送门 基于qsys通过spi外部总线协议对sd卡进行读写操作 一、实验平台与实验的目的： ​ 正点原子开拓者、芯片型号：EP4CE10F17C8；还需要一张sd卡。 ​ 该实验主要是利用SPI IP核驱动SD卡来实现读写实验&am…...

编程日记 2023/8/12 6:12:58

面试热题（二叉树的锯齿形层次遍历）

给你二叉树的根节点 root ，返回其节点值的 锯齿形层序遍历 。（即先从左往右，再从右往左进行下一层遍历，以此类推，层与层之间交替进行） 输入：root [3,9,20,null,null,15,7] 输出：[[3…...

编程日记 2023/8/12 6:11:56

JVM—内存管理（运行时数据区）、垃圾回收

背景介绍 当JVM类加载器加载完字节码文件之后，会交给执行引擎执行，在执行的过程中会有一块JVM内存区域来存放程序运行过程中的数据，也就是我们图中放的运行时数据区，那这一块运行时数据区究竟帮我们做了哪些工作？我们…...

编程日记 2023/8/12 6:10:54

一百五十一、Kettle——Linux上安装的kettle8.2开启carte服务

一、目的 kettle8.2在Linux上安装好可以启动界面、并且可以连接MySQL、Hive、ClickHouse等数据库后，准备在Linux上启动kettle的carte服务 二、实施步骤 （一）carte服务文件路径 kettle的Linux运行的carte服务文件是carte.sh （二…...

编程日记 2023/8/12 6:09:52

19. python从入门到精通——Web编程

HTTP协议 HTTP协议的常用方法 方法 描述 GET 请求指定的页面信息，并返回实体主体。 POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 …...

编程日记 2023/8/12 6:08:51

PostMan 教程

安装https://www.cnblogs.com/mafly/p/postman.html Postman 使用方法详解https://blog.csdn.net/fxbin123/article/details/80428216 postman进行http接口测试https://blog.csdn.net/five3/article/details/53021084 postman的使用方法详解！最全面的教程https:/…...

编程日记 2023/8/12 6:07:50

Http常见状态码

一、状态码大类 状态码分类说明1xx响应中——临时状态码，表示请求已经接受，告诉客户端应该继续请求或者如果它已经完成则忽略它2xx成功——表示请求已经被成功接收，处理已完成3xx重定向——重定向到其它地方：它让客户端再发起一个…...

编程日记 2023/8/12 6:06:49

C语言之位运算

一、什么是位运算 所谓位运算是指进行二进制位的运算 在系统软件中，常要处理二进位的问题 例如，将一个存储单元中的各二进位左移或右移一位，两个数按位相加等 二、位运算符和位运算 1、按位与 运算符(&) 参加运算的两个数据&#xff…...

编程日记 2023/8/12 6:05:46

c语言进阶部分详解（数据在内存中的存储）

大家好，今天要进行梳理的内容是数据在内存中的存储相关内容。 在C语言中，数据在内存中的存储是一个非常重要的概念。了解数据在内存中的存储方式可以帮助我们更好地理解程序的执行过程，优化内存使用，提高程序的性能。 目录 一.数…...

编程日记 2023/8/12 6:04:45

VIOOVI的ECRS工时分析软件分析：SOP的核心和特征是什么？

制定SOP的主要目的是为企业做技术储备、提供企业的工作效率、防止同样的错误反复出现、让员工作业有标准化的行为准则。以规定的成本、规定的工作时间，生产质量均匀、符合规范的产品。为了能够达到上述要求，如果制造现场的操作混乱，比如制作工…...

编程日记 2023/8/12 6:03:45

无涯教程-Perl - lock函数

描述 此函数将咨询锁放在共享变量或THING中包含的引用对象上,直到该锁超出范围。 lock()是一个"弱关键字":这意味着,如果您在调用该函数之前已通过该名称定义了该函数,则将改为调用该函数。 语法 以下是此函数的简单语法- lock THING返回值 此函数不返回任何值…...

编程日记 2023/8/12 6:02:44

SpringBoot案例-部门管理-前后端联调

前后端联调 教学资料中提供了“前端工程”，将其解压即可使用nginx，启动nginx后，访问：http://localhost:90 小结 开发流程 明确需求、阅读接口文档、思路分析、接口开发（遵循接口文档）接口调试 postman测…...

编程日记 2023/8/12 6:01:42

每天一道leetcode：139. 单词拆分（动态规划中等）

今日份题目： 给你一个字符串 s 和一个字符串列表 wordDict 作为字典。请你判断是否可以利用字典中出现的单词拼接出 s 。 注意：不要求字典中出现的单词全部都使用，并且字典中的单词可以重复使用。 示例1 输入: s "leetcode", …...

编程日记 2023/8/12 6:00:41

【C++】友元（含内部类）

一、友元是什么 我把你添加为我的友元，那么你可以访问我的成员。特别注意：它是单向的。即，我把你添加为我的友元，我却不能访问你的成员，除非你把我添加为你的友元。 以下代码可以让你粗略了解友元的使用。 #includ…...

编程日记 2023/8/12 5:59:40

SQL | 检索数据

1-检索数据 1.1-检索单个列 SELECT prod_name FROM Products; 上述SELECT语句从Products表中检索一个名为prod_name的列。 所要查找的列在select后面，from关键字指出从那个表查询数据。 输出如下： prod_name8 inch teddy bear12 inch teddy bear18…...

编程日记 2023/8/12 5:58:39

typeScript 之 运算符

工具： PlayGround 算术运算符 运算符描述加-减*乘/除%取模(求余)自增–自减 注意和--，实例： let value 0; console.log(value); //0, 先显示再增加后为1 console.log(value); //2，先增加后为2再显示关系运算符 运算符描述 …...

编程日记 2023/8/12 5:57:38

BGP实验

题目 IP地址配置 172.16.X.0/24为模拟用户环回接口接口 172.16.7.X/32为BGP邻居关系建立的环回接口 R1： R2： R3： R4： R5： R6： R7： R8： BGP邻居关系建立、宣告和反射器、联邦配置 R…...

编程日记 2023/8/12 5:56:37

【网络】每天掌握一个Linux命令 - iftop

在Linux系统中，iftop是网络管理的得力助手，能实时监控网络流量、连接情况等，帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...

编程新知 2025/8/4 15:02:27

Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）

目录 1.TCP的连接管理机制（1）三次握手①握手过程②对握手过程的理解 （2）四次挥手（3）握手和挥手的触发（4）状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...

编程新知 2025/10/4 5:01:46

Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务

通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...

编程新知 2025/9/20 4:34:47

HBuilderX安装（uni-app和小程序开发）

下载HBuilderX 访问官方网站：https://www.dcloud.io/hbuilderx.html 根据您的操作系统选择合适版本： Windows版（推荐下载标准版） Windows系统安装步骤 运行安装程序： 双击下载的.exe安装文件 如果出现安全提示&…...

编程新知 2025/10/2 4:29:51

【数据分析】R版IntelliGenes用于生物标志物发现的可解释机器学习

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者! 文章目录 介绍流程步骤1. 输入数据2. 特征选择3. 模型训练4. I-Genes 评分计算5. 输出结果 IntelliGenesR 安装包1. 特征选择2. 模型训练和评估3. I-Genes 评分计…...

编程新知 2025/10/9 22:14:56

HarmonyOS运动开发：如何用mpchart绘制运动配速图表

##鸿蒙核心技术##运动开发##Sensor Service Kit（传感器服务）# 前言 在运动类应用中，运动数据的可视化是提升用户体验的重要环节。通过直观的图表展示运动过程中的关键数据，如配速、距离、卡路里消耗等，用户可以更清晰…...

编程新知 2025/10/8 3:18:44

C#中的CLR属性、依赖属性与附加属性

CLR属性的主要特征 封装性： 隐藏字段的实现细节 提供对字段的受控访问 访问控制： 可单独设置get/set访问器的可见性 可创建只读或只写属性 计算属性： 可以在getter中执行计算逻辑 不需要直接对应一个字段 验证逻辑： 可以…...

编程新知 2025/10/7 0:47:59

站群服务器的应用场景都有哪些？

站群服务器主要是为了多个网站的托管和管理所设计的，可以通过集中管理和高效资源的分配，来支持多个独立的网站同时运行，让每一个网站都可以分配到独立的IP地址，避免出现IP关联的风险，用户还可以通过控制面板进行管理功…...

编程新知 2025/9/1 19:01:24

多模态图像修复系统：基于深度学习的图片修复实现

多模态图像修复系统：基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型（Stable Diffusion Inpainting）实现图像修复功能，结合文本描述和图片输入，对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...

编程新知 2025/9/9 21:28:16

Proxmox Mail Gateway安装指南：从零开始配置高效邮件过滤系统

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐：「storms…...

编程新知 2025/10/6 2:15:43