当前位置： 首页 > news >正文

1.初识爬虫

news 2025/12/26 18:38:57

爬虫是批量模拟网络请求的程序，想百度谷歌这种搜索类网站本质上就是爬虫

使用爬虫的时候不应该对别人的网站有严重的影响，比如你爬的频率太高了，让人家的网站崩溃了。不应该爬取网页上显示不到的内容，比如有一个直播的网站，人家显示的是热度值而不是具体人数，热度值是根据具体人数计算出来的，但是具体人数人家没展示在网页上，这个时候你不应该爬具体人数

目录

1  爬虫的分类

2  反爬机制与反反爬策略

3  robots.txt

4  加密方式

1  爬虫的分类

爬虫分为下面三类

  • 通用爬虫：搜索引擎（百度谷歌这种）抓取系统的主要组成部分，通用爬虫抓取一整张页面的数据
  • 聚焦爬虫：基于通用爬虫抓取整张页面数据后提取页面中特定的局部内容
  • 增量式爬虫：检测网站中数据更新的情况，只抓取增量内容（新更新的数据）

2  反爬机制与反反爬策略

反爬机制：被爬的网站设置不让你爬的一些规则。比如被爬的网站就可以设置同一个mac码一秒中的访问数量不能超过两次

反反爬策略：想爬取网站的人规避反爬机制的策略。比如被爬的网站设置了同一个mac码访问频率，你就可以多搞几个mac码去访问，从而得到数据

爬虫是一门对抗类的技术，你想爬但没爬到你就输了，你想不让别人爬但是别人爬到了那你就输了。这种对抗类的技术如果你想成功率高的话需要投入很多，所以面对某一些反爬机制强的网站，及时的放弃不一定是坏事

3  robots.txt

网站被爬不全是坏事，网站被爬可以带来流量。但我们又不希望网站无限制被爬，这个时候就产生了robots.txt协议，robots.txt协议由被爬的网站注明，其中会写明网站哪些东西可以被爬，哪些东西不可以被爬。robots.txt中的内容对于代码没有任何约束，只是给人看的，你如果爬了robots.txt中的禁止爬取的内容人家可能会去法院告你

我们可以在网站的域名后加上 /robots.txt 来查看当前网站的robots.txt协议。比如百度，这里面就告诉你哪个路由你不能动

再比如淘宝，他的robots.txt就是百度不准爬跟路径，剩下的都能爬。如果你不是百度，那你根路径也能爬

4  加密方式

对称密钥加密：客户端或服务端把密钥与信息一起发到对方（客户端发给服务端，服务端发给客户端），然后由服务端解密。如果发送的过程中信息被捕获了，那么加密信息与密钥都会暴露，相当于信息泄露了

非对称密钥加密：A是客户端，B是服务端，总的来讲就是就是客户端与服务端都加密。如果发送的过程中信息被捕获了，信息不会泄露。客户端的的加密方式叫私钥，服务端的加密方式叫公钥

非对称密钥中没有私钥的传递

非对称密钥加密的缺点是，如果在 步骤2 被捕获了，也就是公钥暴露了，第三方就可以篡改公钥，导致客户端收到的响应不对。而且非对称加密的效率很低

证书密钥加密：在对称加密的基础上对 步骤2 进行了改进，客户端先把密码发送给 证书认证机构，然后证书认证机构给公钥签名做防伪（签名后的公钥叫做证书），之后把证书发给服务端

证书密钥加密是https的加密方式

相关文章：

1.初识爬虫

爬虫是批量模拟网络请求的程序，想百度谷歌这种搜索类网站本质上就是爬虫 使用爬虫的时候不应该对别人的网站有严重的影响，比如你爬的频率太高了，让人家的网站崩溃了。不应该爬取网页上显示不到的内容，比如有一个直播的网站&#…...

编程日记 2023/9/9 1:19:44

TLA+学习记录1——hello world

0x01 TLA是个好工具 编程人员一个好习惯是凡事都想偷懒，当然是指要科学地偷懒，而不是真的偷懒。一直想找到一种能检验写出的代码，做出的设计是否真的完全正确，而不是靠经验检视、代码Review、反复测试去检验。因为上述方法不管怎…...

编程日记 2023/9/9 1:18:43

基于QWebEngine实现无头浏览器

无头浏览器 无头浏览器（Headless Browser）是一种没有图形用户界面（GUI）的浏览器。它通过在内存中渲染页面，然后将结果发送回请求它的用户或程序来实现对网页的访问，而不会在屏幕上显示网页。这种方式使得无…...

编程日记 2023/9/9 1:17:42

编译Micropython固件For树莓派Raspberry Pi Pico

1. 前言 由于想把自己编写的py文件打包的固件中，所以记录下如何编译micropython固件和打包。 2. 编译 最简单的方式就是在你的树莓派上进行，我用的是RP Pi2 下载所需文件： $ cd ~/ $ mkdir pico $ cd pico $ git clone -b pico https://gi…...

编程日记 2023/9/9 1:16:40

基于googlenet网络的动物种类识别算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 ................................................................. % 获取输入层的尺寸 Inp…...

编程日记 2023/9/9 1:15:39

如何用Jmeter编写脚本压测？

随着商业业务不断扩张，调用adsearch服务频率越来越高，所以这次想做个压测，了解目前多少并发量可以到达adsearch服务的界值。 这次选用的jmeter压测工具，压测思路如图： 一、日志入参 日志选取的adsearch 的 getads部分…...

编程日记 2023/9/9 1:14:36

SpingMVC之拦截器使用详解

拦截器概述 SpringMVC的处理器拦截器,类似于Servlet开发中的过滤器Filter，用于对处理器进行预处理和后处理。 过滤器和拦截器区别 过滤器：依赖于servlet容器。在实现上基于函数回调，可以对几乎所有请求进行过滤，但是缺点是一个过…...

编程日记 2023/9/9 1:13:35

motionface respeak新的aigc视频与音频对口型数字人

在当今的数字化时代，人工智能（AI）正在逐渐渗透到我们生活的方方面面。其中，AI技术在视频制作和处理领域的应用也日益广泛。本文将探讨如何利用AI技术实现视频中人脸与音频同步对口型的方法，旨在进一步丰富视频制作的效…...

编程日记 2023/9/9 1:12:33

【计算机网络】 静态库与动态库

文章目录 静态库实践使用方法总结 动态库实践使用方法总结 静态库与动态库的优缺点静态库优点缺点 动态库缺点优点 库有两种：静态库（.a、.lib）和动态库（.so、.dll）。所谓静态、动态是指链接。静态库是将整个库文件都拷…...

编程日记 2023/9/9 1:11:32

web端调用本地摄像头麦克风+WebRTC腾讯云，实现直播功能

目录 关于直播直播流程直播视频格式封装推流和拉流 获取摄像头和麦克风权限navigator.getUserMedia()MediaDevices.getUserMedia() WebRTC腾讯云快直播 关于直播 视频直播技术大全、直播架构、技术原理和实现思路方案整理 直播流程 视频采集端： 1、视频采集&#…...

编程日记 2023/9/9 1:10:30

React笔记（八）Redux

一、安装和配置 React 官方并没有提供对应的状态机插件，因此，我们需要下载第三方的状态机插件 —— Redux。 1、下载Redux 在终端中定位到项目根目录，然后执行以下命令下载 Redux npm i redux 2、创建配置文件 在 React 中，…...

编程日记 2023/9/9 1:09:29

数据库 | 数据库概述、关系型数据库、非关系型数据库

目录： 1.数据库：1.1 数据库的含义1.2 数据库的特点 2.数据表3.数据库管理系统4.数据库系统5.关系型数据库 和 非关系型数据库：5.1 关系型数据库5.2 关系型数据库“优势”5.3 非关系型数据库 6.关系型数据库 和 非关系型数据库 的“区别” 1.数…...

编程日记 2023/9/9 1:08:27

【备战csp-j】 csp常考题目详解（4）

四.数值转换与编码 1. 十进制数 11/128 可用二进制数码序列表示为( ) 。 A.1011/1000000 B.1011/100000000 C.0.001011 D.0.0001011 答案：D 解析：暂时未找到解决方法，以后会解决。 2. 算式(2047)10 － (3FF)16 ＋ …...

编程日记 2023/9/9 1:07:26

linux中常见服务端安装

linux安装服务脚本 1、yum安装 # 通过apt安装yum apt install yum # yum安装软件 yum install pam-devel # yum 卸载 yum remove pam-devel2、rpm安装 # 安装 rpm -i example.rpm #安装 example.rpm 包； rpm -iv example.rpm #安装 example.rpm 包并在安装过程…...

编程日记 2023/9/9 1:06:25

L1-058 6翻了(Python实现) 测试点全过

前言： {\color{Blue}前言：} 前言： 本系列题使用的是，“PTA中的团体程序设计天梯赛——练习集”的题库，难度有L1、L2、L3三个等级，分别对应团体程序设计天梯赛的三个难度。更新取决于题目的难度，…...

编程日记 2023/9/9 1:05:24

初学Python记

Python这个编程语言的大名当然听说过了呀，这几年特别火，火的一塌涂地。大家可以回忆一下：朋友圈推荐的广告里经常可以看见python的网课广告。 本学期，学校开设了python课程，这几天学习了一下入了一下门，感…...

编程日记 2023/9/9 1:04:22

计算机竞赛 基于深度学习的目标检测算法

文章目录 1 简介2 目标检测概念3 目标分类、定位、检测示例4 传统目标检测5 两类目标检测算法5.1 相关研究5.1.1 选择性搜索5.1.2 OverFeat 5.2 基于区域提名的方法5.2.1 R-CNN5.2.2 SPP-net5.2.3 Fast R-CNN 5.3 端到端的方法YOLOSSD 6 人体检测结果7 最后 1 简介 &#x1f5…...

编程日记 2023/9/9 1:03:21

sentinel-core

引入依赖<dependencies><dependency><groupId>com.alibaba.csp</groupId><artifactId>sentinel-core</artifactId></dependency><dependency><groupId>com.alibaba.csp</groupId><artifactId>sentinel-anno…...

编程日记 2023/9/9 1:02:20

【美团3.18校招真题1】

大厂笔试真题网址&#xff1a;https://codefun2000.com/ 塔子哥刷题网站博客&#xff1a;https://blog.codefun2000.com/ 小美剪彩带 提交网址&#xff1a;https://codefun2000.com/p/P1088 题意&#xff1a;找出区间内不超过k种数字子数组的最大长度 使用双指针的方式&…...

编程日记 2023/9/9 1:01:19

Springboot 实践（14）spring config 配置与运用--手动刷新

前文讲解Spring Cloud zuul 实现了SpringbootAction-One和SpringbootAction-two两个项目的路由切换&#xff0c;正确访问到项目中的资源。这两个项目各自拥有一份application.yml项目配置文件&#xff0c;配置文件中有一部分相同的配置参数&#xff0c;如果涉及到修改&#xf…...

编程日记 2023/9/9 1:00:17

零门槛NAS搭建：WinNAS如何让普通电脑秒变私有云？

一、核心优势&#xff1a;专为Windows用户设计的极简NAS WinNAS由深圳耘想存储科技开发&#xff0c;是一款收费低廉但功能全面的Windows NAS工具&#xff0c;主打“无学习成本部署” 。与其他NAS软件相比&#xff0c;其优势在于&#xff1a; 无需硬件改造&#xff1a;将任意W…...

编程新知 2025/9/22 15:46:39

iOS 26 携众系统重磅更新，但“苹果智能”仍与国行无缘

美国西海岸的夏天&#xff0c;再次被苹果点燃。一年一度的全球开发者大会 WWDC25 如期而至&#xff0c;这不仅是开发者的盛宴&#xff0c;更是全球数亿苹果用户翘首以盼的科技春晚。今年&#xff0c;苹果依旧为我们带来了全家桶式的系统更新&#xff0c;包括 iOS 26、iPadOS 26…...

编程新知 2025/12/22 8:58:18

＜6＞-MySQL表的增删查改

目录 一&#xff0c;create&#xff08;创建表&#xff09; 二&#xff0c;retrieve&#xff08;查询表&#xff09; 1&#xff0c;select列 2&#xff0c;where条件 三&#xff0c;update&#xff08;更新表&#xff09; 四&#xff0c;delete&#xff08;删除表&#xf…...

编程新知 2025/12/11 18:28:17

树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法

树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源&#xff1a; http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作&#xff0c;无需更改相机配置。但是&#xff0c;一…...

编程新知 2025/12/24 3:40:16

【Linux】C语言执行shell指令

在C语言中执行Shell指令 在C语言中&#xff0c;有几种方法可以执行Shell指令&#xff1a; 1. 使用system()函数 这是最简单的方法&#xff0c;包含在stdlib.h头文件中&#xff1a; #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...

编程新知 2025/11/20 18:42:48

分布式增量爬虫实现方案

之前我们在讨论的是分布式爬虫如何实现增量爬取。增量爬虫的目标是只爬取新产生或发生变化的页面&#xff0c;避免重复抓取&#xff0c;以节省资源和时间。 在分布式环境下&#xff0c;增量爬虫的实现需要考虑多个爬虫节点之间的协调和去重。 另一种思路&#xff1a;将增量判…...

编程新知 2025/12/22 10:49:40

dify打造数据可视化图表

一、概述 在日常工作和学习中&#xff0c;我们经常需要和数据打交道。无论是分析报告、项目展示&#xff0c;还是简单的数据洞察&#xff0c;一个清晰直观的图表&#xff0c;往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server&#xff0c;由蚂蚁集团 AntV 团队…...

编程新知 2025/12/22 11:06:20

C#学习第29天：表达式树（Expression Trees）

目录 什么是表达式树&#xff1f; 核心概念 1.表达式树的构建 2. 表达式树与Lambda表达式 3.解析和访问表达式树 4.动态条件查询 表达式树的优势 1.动态构建查询 2.LINQ 提供程序支持&#xff1a; 3.性能优化 4.元数据处理 5.代码转换和重写 适用场景 代码复杂性…...

编程新知 2025/10/20 9:03:01

Chrome 浏览器前端与客户端双向通信实战

Chrome 前端&#xff08;即页面 JS / Web UI&#xff09;与客户端&#xff08;C 后端&#xff09;的交互机制&#xff0c;是 Chromium 架构中非常核心的一环。下面我将按常见场景&#xff0c;从通道、流程、技术栈几个角度做一套完整的分析&#xff0c;特别适合你这种在分析和改…...

编程新知 2025/12/24 19:42:22

认识CMake并使用CMake构建自己的第一个项目

1.CMake的作用和优势 跨平台支持&#xff1a;CMake支持多种操作系统和编译器&#xff0c;使用同一份构建配置可以在不同的环境中使用 简化配置&#xff1a;通过CMakeLists.txt文件&#xff0c;用户可以定义项目结构、依赖项、编译选项等&#xff0c;无需手动编写复杂的构建脚本…...

编程新知 2025/12/25 3:20:24