当前位置： 首页 > news >正文

04_两种常见的网页反爬措施及应对方法

news 2026/3/27 9:24:21

一、封禁IP地址反爬

1、应对思路：

  • 理解这种反爬方法的含义：当我们用自己电脑的ip地址短时间，高频率访问某个具有此类反爬设置的网站，这种网站就会把我们的ip地址封禁，一般都是封24小时或者其他时间。
  • 解决方案：通过代理ip访问，这种方式只不过就是让你有了重新访问网页的ip地址，但是依然没法避免高频访问之后的封禁，同时这种ip都是有时效性的，当然使用也是付费的，不过学习使用的话，注册之后，送的次数或者积分足够我们了解整个代理ip的使用方法了。

2、（插入知识）如何使用代理ip：

  • 通过我们自己电脑的ip访问网页属于直接访问，而通过代理ip访问，就属于简介访问了。
  • 第一步注册：其实有很多这种代理ip的公司，我这边使用的是 芝麻代理
  • 获取代理ip的接口

在这里插入图片描述
点击生成api链接：
在这里插入图片描述

  • 示例代码：

相关文章：

04_两种常见的网页反爬措施及应对方法

一、封禁IP地址反爬 1、应对思路： 理解这种反爬方法的含义：当我们用自己电脑的ip地址短时间，高频率访问某个具有此类反爬设置的网站，这种网站就会把我们的ip地址封禁，一般都是封24小时或者其他时间。解决方案：通过代理ip访问，这种方式只不过就是让你有了重新访问网页的…...

编程日记 2023/6/10 0:11:51

安装docker环境，并制作docker镜像

docker环境安装 进入linux虚机后，安装docker环境，制作docker镜像并运行，进入运行中的容器，查看挂载的日志或报告 1.安装docker sudo curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 2.使用docker仓库安装…...

编程日记 2023/6/10 0:06:50

MySQL数据库 – node使用

1 MySQL查询对象 2 MySQL查询数组 3 mysql2库介绍使用 4 mysql2预处理语句 5 mysql2连接池使用 6 mysql2的Promi 这里仅说明如何使用服务器连接数据库并进行操作。 预处理语句就是可以输入变量的语句（表现形式是有符号：？）。需…...

编程日记 2023/6/10 0:01:49

JAVA使用HTTP代码示例模板

以下是一个使用Java发送HTTP请求的示例代码： java import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; public class HttpExample { public static void main(String[] args) { try…...

编程日记 2023/6/9 23:56:48

elementui tree 支持虚拟滚动和treeLine （下）

​ 由于我之前没有发布过npm 包，这里还得现学一下。 参考资料： 链接: 如何写一个vue组件发布到npm，包教包会，保姆级教学链接: vue组件发布npm最佳实践 按照上面的步骤，我通过 vue-sfc-rollup 生成了项目，…...

编程日记 2023/6/9 23:51:47

富人父母都教给孩子什么样的财富思维？

1.认清金钱的价值和作用，不要否认或忽视它对生活的影响。 2.提高社交能力，学会与不同的人沟通和合作，扩大人脉和资源。 3.理性消费，让钱在流动中产生效益，而不是囤积或浪费。 4.释放自己的欲望，追求自己想要…...

编程日记 2023/6/9 23:46:46

国内比较火的报表工具测评——Smartbi电子表格软件和Finereport

最近在学习BI软件，因为最近工作中需要开发报表，因此选用了国内市场比较热门的报表工具——Finereport和Spreadsheet进行学习。 BI软件经常会定期发布新的版本，增加新的功能模块，或者对现有功能进行增强，提升运行效率。…...

编程日记 2023/6/9 23:41:45

变电所运维云平台在电力系统中的应用

安科瑞虞佳豪 变电所运维云平台可以看做是电力监控系统的网络应用延伸，变电所运维云平台通过互联网，电力运维人员通过手机可以随时随地了解工厂配电系统的运行情况，做到无人值守或者少人值守，同时可以监测用能状况、漏电、线缆异…...

编程日记 2023/6/9 23:36:44

【51单片机】AT24C20数据帧（I2C总线）

🎊专栏【51单片机】 🍔喜欢的诗句：更喜岷山千里雪 三军过后尽开颜。 🎆音乐分享【Love Story】 🥰大一同学小吉，欢迎并且感谢大家指出我的问题🥰 小吉先向大家道个歉，因为最近在期末…...

编程日记 2023/6/9 23:31:42

Python内置函数isinstance()函数介绍

Python内置函数isinstance()函数介绍 isinstance() 函数是Python内置函数，来判断一个对象是否是一个已知的类型，返回值为布尔值True或False。其语法格式： isinstance(object, classinfo) 【官方说法https://docs.python.org/zh-cn/3/librar…...

编程日记 2023/6/9 23:26:41

QxRibbon 知：搭建 CMake 构建环境

文章目录 前言安装 cmake问题处理qtcreator 检测 CMake 异常 参考资料 前言 高版本的 QtCreator 已经集成了 cmake 工具，并支持以 CMakelists.txt 文件作为工程开发项目。 https://www.qt.io/blog/2019/07/30/update-on-cmake-project-support-in-qt-creator 安装…...

编程日记 2023/6/9 23:21:40

Spring框架-面试题核心概念

目录 1.Spring框架的作用是什么？ 2. 什么是DI？ 3.什么是AOP？ 4.Spring常用注解 5.Spring中的设计模式 6.Spring支持的几种bean的作用域 7.Spring中Bean的生命周期？ 8.Spring中的事务管理 9.Spring中的依赖注入方式有几种 10.Sprin…...

编程日记 2023/6/9 23:16:39

Tomcat部署及优化

Tomcat部署及优化 一、Tomcat的介绍1.Tomcat核心组件2.Tomcat 功能组件结构3.Container 结构分析：4.Tomcat处理请求过程 二、Tomcat 部署步骤1.关闭防火墙，将安装 Tomcat 所需软件包传到/opt目录下2.安装JDK3.设置JDK环境变量4.编写一个java 简易的源代码…...

编程日记 2023/6/9 23:11:38

C++/C按照时间命名保存bin文件

背景 在Linux应用编程过程中，使用C或者C语言保存、读取bin文件是比较常见的需求。这里详细记录一下使用C保存bin文件，也可以使用C语言实现。 代码 C/C语言保存bin文件函数，C中也能使用 正确写入返回0，错误返回-1 // C 保存bi…...

编程日记 2023/6/9 23:06:37

面向多告警源，如何构建统一告警管理体系？

本文介绍告警统一管理的最佳实践，以帮助企业更好地处理异构监控系统所带来的挑战和问题。 背景信息 在云原生时代，企业IT基础设施的规模越来越大，越来越多的系统和服务被部署在云环境中。为了监控这些复杂的IT环境，企业通常会选…...

编程日记 2023/6/9 23:01:36

python 面向对象 -- 简单理解版

一、什么是面向对象 Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。除了Python，Java也是一门面向对象的编程语言。 先来简单的了解下面向对象的一些基本特征。 类(Class): 用来描述具有相…...

编程日记 2023/6/9 22:56:35

SpringMVC 程序开发

✏️作者：银河罐头 📋系列专栏：JavaEE 🌲“种一棵树最好的时间是十年前，其次是现在” 目录 什么是 Spring MVCMVC 定义 怎么学 Spring MVCSpring MVC 创建和连接创建 Spring MVC 项目RequestMapping 注解介绍PostMappi…...

编程日记 2023/6/9 22:51:34

使用单片机遇到的几个问题及解决方案1

1.为什么我跟着视频学习的过程中，我没有找到“端口"的选项呢？我甚至没有出现“其他插口”。 想要找到设备管理器最快的方法就是： 首先如果把输入法调为大写形式，然后按下“WINX”，再按“M”就会出现一个设备管理…...

编程日记 2023/6/9 22:46:33

vue项目中el-upload 组件添加token的方法

在使用el-upload的时候&#xff0c;上传文件到服务器&#xff0c;有时候后台要求上传token&#xff0c;怎么处理呢&#xff1f;以下是一个示例。 效果图 template中片段 <el-dialog :modal-append-to-body"false" title"上传文件" :visible.sync"…...

编程日记 2023/6/9 22:41:33

独立按键检测短按、长按，松手后响应操作

背景 有项目使用独立按键检测&#xff0c;短按、长按。根据使用效果&#xff0c;发现松手后&#xff0c;也就是按键弹起后响应操作比较好操作。 记得之前&#xff0c;博主写过一篇关于按键的检测的文章&#xff0c;但是过于复杂了。可能很难懂&#xff0c;这里就简单一点&…...

编程日记 2023/6/9 22:36:32

数智驱动 人才筑基——拔尖创新人才与卓越工程师培养论坛举行

3月22日&#xff0c;第二届高等院校新工科人才培养暨产教融合发展大会在北京举行。大会以“科技创新 智造未来”为主题&#xff0c;来自全国各地的本科院校、职业院校、行业企业以及媒体等1000余位嘉宾参会。22日下午&#xff0c;数智驱动 人才筑基——拔尖创新人才与卓越工程师…...

编程新知 2026/3/27 9:08:49

新手友好：通过快马用自然语言生成你的第一个openclaw卸载脚本

作为一个刚接触编程的新手&#xff0c;想要自己动手写一个软件卸载脚本确实会有点无从下手。最近我在学习Python时&#xff0c;发现用InsCode(快马)平台可以很轻松地通过自然语言描述生成完整代码&#xff0c;特别适合我们这样的初学者。下面我就分享一下如何用这个平台快速创建…...

编程新知 2026/3/27 8:40:38

C++ 智能指针的底层实现逻辑

C智能指针的底层实现逻辑揭秘 在C开发中&#xff0c;内存管理一直是程序员需要谨慎处理的难题。传统裸指针容易导致内存泄漏、悬垂指针等问题&#xff0c;而智能指针通过自动化资源管理&#xff0c;显著提升了代码的安全性和可维护性。那么&#xff0c;智能指针是如何在底层实…...

编程新知 2026/3/27 7:48:15

Obsidian移动端深度评测：安卓/iOS同步技巧+5个必装生产力插件

Obsidian移动端深度评测&#xff1a;安卓/iOS同步技巧5个必装生产力插件 在移动办公场景下&#xff0c;Obsidian作为一款强大的知识管理工具&#xff0c;其跨平台能力与插件生态为商务人士和学生群体提供了独特的价值。本文将深入解析Obsidian在Android和iOS平台的核心差异&…...

编程新知 2026/3/27 6:09:01

5步快速解锁付费内容：bypass-paywalls-chrome-clean终极指南 [特殊字符]

5步快速解锁付费内容&#xff1a;bypass-paywalls-chrome-clean终极指南 &#x1f680; 【免费下载链接】bypass-paywalls-chrome-clean 项目地址: https://gitcode.com/GitHub_Trending/by/bypass-paywalls-chrome-clean 在信息爆炸的时代&#xff0c;你是否经常遇到优…...

编程新知 2026/3/27 6:05:01

如何使用Rainmeter监控PCIe设备延迟：完整响应时间检测指南

如何使用Rainmeter监控PCIe设备延迟&#xff1a;完整响应时间检测指南 【免费下载链接】rainmeter Desktop customization tool for Windows 项目地址: https://gitcode.com/gh_mirrors/ra/rainmeter Rainmeter是一款强大的Windows桌面自定义工具&#xff0c;不仅能美化…...

编程新知 2026/3/27 5:20:45

包装器简介

可调用对象&#xff1a;可以使用&#xff08;&#xff09;运算符进行调用的对象&#xff0c;本质是能像函数一样使用的东西常见课调用对象&#xff1a;函数指针&#xff0c;仿函数&#xff0c;lambda表达式我们能否使用统一的方式对其封装&#xff0c;进行调用&#xff0c;这时…...

编程新知 2026/3/27 4:31:58

[2026 职场洗牌系列 01] 程序员正在“杀死”自己的工作？科技行业高危预警

长久以来&#xff0c;学计算机&#xff08;CS&#xff09;在很多年轻人眼里就等同于拿到了通往高薪和阶层跃升的金钥匙。大家都觉得&#xff0c;只要把代码敲得溜&#xff0c;这辈子在职场上基本就稳了。可惜&#xff0c;到了2026年的今天&#xff0c;生成式AI正在毫不留情地把…...

编程新知 2026/3/27 2:22:42

嵌入式OLED UI组件库：轻量级C++组件化设计

1. 项目概述 OLED UI Components 是一个面向嵌入式平台的轻量级、组件化 OLED 用户界面开发库&#xff0c;专为基于 SSD1306 驱动芯片的单色 OLED 显示屏&#xff08;典型分辨率为 12864&#xff09;设计。该库不直接操作硬件寄存器&#xff0c;而是构建在 Adafruit_SSD1306 库…...

编程新知 2026/3/27 1:11:51

LFM2.5-1.2B-Thinking-GGUF前端面试题解析实战：模拟面试与答案生成

LFM2.5-1.2B-Thinking-GGUF前端面试题解析实战&#xff1a;模拟面试与答案生成 1. 开篇&#xff1a;AI如何改变前端面试准备方式 前端开发岗位的竞争日益激烈&#xff0c;技术面试的难度也水涨船高。传统的面试准备方式往往效率低下——求职者要么死记硬背网上的标准答案&…...

编程新知 2026/3/27 1:09:41