【学习心得】爬虫JS逆向通解思路
我希望能总结一个涵盖大部分爬虫逆向问题的固定思路，在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中，下面的通解思路尚不完善，还望各位读者见谅。
一、第一步：明确反爬手段
反爬手段可以分为几个大类
（1）检查请求头信息
服务器会检查User-Agent、Referer、检查加密的URL/API参数等等。
（2）对JS压缩、混淆和加密
JS代码运行在客户端是公开透明的所以有必要为了反爬进行一些处理。
（3）IP限制
（4）验证码
（5）字体反爬
二、第二步：针对不同的反爬手段采集相应的策略
（1）若为“URL/API参数加密”
a、寻找并快速定位加密入口【寻找入口、快速定位】
b、找到入口后进行调试分析【调试分析、破解加密】
c、分析过后通过代码模拟执行生成加密参数【模拟执行、生成参数】
（2）若为JS压缩、混淆和加密
a、若是JS压缩：可用浏览器代码格式化、复制到pycharm里进行代码格式化
b、若是JS混淆：则需要再判断混淆手段
变量混淆、常量混淆、控制流平坦化、调试保护等等
c、若是JS加密：测需要再判断加密方式
AES、MD5、SM、SHA-1、Base64等等
三、总结
JS逆向技术内容非常庞大繁杂，我画了一张思维导图帮助大家理解。图中还有部分内容由于本人尚在学习中所以还不全面。
相关文章：
【学习心得】爬虫JS逆向通解思路
我希望能总结一个涵盖大部分爬虫逆向问题的固定思路，在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中，下面的通解思路尚不完善，还望各位读者见谅。 一、第一步：明确反爬手段 反爬手段可以分为几个大类 &#…...
如何使用Logstash搜集日志传输到es集群并使用kibana检测
引言：上一期我们进行了对Elasticsearch和kibana的部署，今天我们来解决如何使用Logstash搜集日志传输到es集群并使用kibana检测 目录 Logstash部署 1.安装配置Logstash （1）安装 （2）测试文件 ÿ…...
AutoEncoder和 Denoising AutoEncoder学习笔记
参考： 【1】 https://lilianweng.github.io/posts/2018-08-12-vae/ 写在前面： 只是直觉上的认识，并没有数学推导。后面会写一篇（抄）大一统文章（概率角度理解为什么AE要选择MSE Loss） TOC 1 Au…...
计算机系统基础
一、计算机系统概述 计算机系统：硬件软件，软件包括系统软件和应用软件 二、计算机组成结构 三、存储结构 3.1 层次化存储结构 3.2 Cache Cache（高速缓存）的功能：提高CPU数据输入输出的速率，突破冯.若依曼瓶…...
live555学习 - 环境准备
环境：Ubuntu 16.04.7 ffmpeg-6.1 1 代码下载 最新版本： http://www.live555.com/liveMedia/public/ 历史版本下载 https://download.videolan.org/pub/contrib/live555/ 选择版本live.2023.01.19.tar.gz ps：没有选择新版本是新版本在…...
C++ 模拟OJ
目录 1、1576. 替换所有的问号 2、 495. 提莫攻击 3、6. Z 字形变换 4、38. 外观数列 5、 1419. 数青蛙 1、1576. 替换所有的问号 思路：分情况讨论 ?zs：左边没有元素，则仅需保证替换元素与右侧不相等；z?s：左右都…...
MariaDB MaxScale实现mysql8读写分离
MaxScale 是干什么的？ MaxScale是maridb开发的一个mysql数据中间件，其配置简单，能够实现读写分离，并且可以根据主从状态实现写库的自动切换，对多个从服务器能实现负载均衡。 MaxScale 实验环境 中间件192.168.142.13…...
代码随想录day11（1）字符串：反转字符串中的单词 （leetcode151）
题目要求：给定一个字符串，将其中单词顺序反转，且每个单词之间有且仅有一个空格。 思路：因为本题没有限制空间复杂度，所以首先想到的是用split直接分割单词，然后将单词倒叙相加。 但如果想让空间复杂度为O…...
PlantUML - 时序图
时序图主要内容 下面是一个简单的时序图，我们可以很容易并且美观的表达我们的交互流程，只需要在箭头的两边指定一个名字，加上描述即可： startuml bkloanapply -> bkloanapprove : request bkloanapprove --> bkloanapply :…...
VS Code 的粘性滚动预览 - 类似于 Excel 的冻结首行
VS Code 的粘性滚动预览 - 类似于 Excel 的冻结首行功能，即滚动 UI 显示当前源代码范围。便于在代码行数比较多的时候更好的知道自己所在的位置。粘性滚动UI 显示用户在滚动期间所处的范围，将显示编辑器顶部所在的类/接口/命名空间/函数/方法/构造函数&a…...
Java中的List
List集合的特有方法 方法介绍 方法名描述void add(int index,E element)在此集合中的指定位置插入指定的元素E remove(int index)删除指定索引处的元素，返回被删除的元素E set(int index,E element)修改指定索引处的元素，返回被修改的元素E get(int inde…...
Spring 框架模块深度解析：核心容器、数据访问、Web 层与其他关键模块
Spring 可能成为您的所有企业应用程序的一站式商店。但是，Spring 是模块化的，允许您挑选适用于您的模块，而无需引入其他模块。下面的部分提供了 Spring Framework 中所有可用模块的详细信息。Spring Framework 提供了大约20个模块，…...
前端配置开发环境，新电脑配置前端开发环境，Vue开发环境配置的详细过程（前端开发环境配置，电脑重置后配置前端开发环境）
简介：有时候，我们需要在新电脑 或者 电脑重置后，配置前端开发环境，具体都需要安装什么软件和插件，这里来记录一下（文章适合新手和小白，大佬可以带过）。 ✨前端开发环境，需…...
大模型（LLM）的量化技术Quantization原理学习
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型…...
2024.03.01作业
1. 基于UDP的TFTP文件传输 #include "test.h"#define SER_IP "192.168.1.104" #define SER_PORT 69 #define IP "192.168.191.128" #define PORT 9999enum mode {TFTP_READ 1,TFTP_WRITE 2,TFTP_DATA 3,TFTP_ACK 4,TFTP_ERR 5 };void get_…...
力扣hot100：42.接雨水
什么时候能用双指针？ （1）对撞指针： ①两数和问题中可以使用双指针，先将两数和升序排序，可以发现规律，如果当前两数和大于target，则右指针向左走。 ②接雨水问题中，左边最…...
搜索回溯算法（DFS）1------递归
目录 简介： 递归问题解题的思路模板 例题1：汉诺塔 例题2：合并两个有序链表 例题3：反转链表 例题4：两两交换链表中的节点 例题5：Pow（x,n）-快速幂 结语： 简介&…...
workstation 用途
一 workstation 用途 强大的桌面虚拟化 允许创造多种操作系统可以不用重启就跨不同操作系统进行操作可以提供隔离的安全环境 连接到vsphere 可以远程登陆服务器管理物理主机和虚拟主机任何时间都可登陆提高虚拟机效率 为任何平台开发和测试 1）借助一台单一本地…...
【三维重建】【SLAM】SplaTAM：基于3D高斯的密集RGB-D SLAM(CVPR 2024)
题目：SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM 地址：spla-tam.github.io 机构：CMU（卡内基梅隆大学）、MIT（美国麻省理工） 总结：SplaTAM，一个新…...
Go Barrier栅栏
1. 简介 实现与pythonthreading.Barrier库类似的功能，多线程同时等待达到指定数量一起放行。 有待改进地方： wait方法没有支持context控制。 2. 代码 import ("context""golang.org/x/sync/semaphore""sync/atomic" …...
【杂谈】-递归进化：人工智能的自我改进与监管挑战
递归进化：人工智能的自我改进与监管挑战 文章目录 递归进化：人工智能的自我改进与监管挑战1、自我改进型人工智能的崛起2、人工智能如何挑战人类监管？3、确保人工智能受控的策略4、人类在人工智能发展中的角色5、平衡自主性与控制力6、总结与…...
蓝桥杯 2024 15届国赛 A组 儿童节快乐
P10576 [蓝桥杯 2024 国 A] 儿童节快乐 题目描述 五彩斑斓的气球在蓝天下悠然飘荡，轻快的音乐在耳边持续回荡，小朋友们手牵着手一同畅快欢笑。在这样一片安乐祥和的氛围下，六一来了。 今天是六一儿童节，小蓝老师为了让大家在节…...
多模态商品数据接口：融合图像、语音与文字的下一代商品详情体验
一、多模态商品数据接口的技术架构 （一）多模态数据融合引擎 跨模态语义对齐 通过Transformer架构实现图像、语音、文字的语义关联。例如，当用户上传一张“蓝色连衣裙”的图片时，接口可自动提取图像中的颜色（RGB值&…...
屋顶变身“发电站” ，中天合创屋面分布式光伏发电项目顺利并网！
5月28日，中天合创屋面分布式光伏发电项目顺利并网发电，该项目位于内蒙古自治区鄂尔多斯市乌审旗，项目利用中天合创聚乙烯、聚丙烯仓库屋面作为场地建设光伏电站，总装机容量为9.96MWp。 项目投运后，每年可节约标煤3670…...
c#开发AI模型对话
AI模型 前面已经介绍了一般AI模型本地部署，直接调用现成的模型数据。这里主要讲述讲接口集成到我们自己的程序中使用方式。 微软提供了ML.NET来开发和使用AI模型，但是目前国内可能使用不多，至少实践例子很少看见。开发训练模型就不介绍了&am…...
深入解析C++中的extern关键字：跨文件共享变量与函数的终极指南
🚀 C extern 关键字深度解析：跨文件编程的终极指南 📅 更新时间：2025年6月5日 🏷️ 标签：C | extern关键字 | 多文件编程 | 链接与声明 | 现代C 文章目录 前言🔥一、extern 是什么？&…...
QT： `long long` 类型转换为 `QString` 2025.6.5
在 Qt 中，将 long long 类型转换为 QString 可以通过以下两种常用方法实现： 方法 1：使用 QString::number() 直接调用 QString 的静态方法 number()，将数值转换为字符串： long long value 1234567890123456789LL; …...
在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案
这个问题我看其他博主也写了，要么要会员、要么写的乱七八糟。这里我整理一下，把问题说清楚并且给出代码，拿去用就行，照着葫芦画瓢。 问题 在继承QWebEngineView后，重写mousePressEvent或event函数无法捕获鼠标按下事…...
Linux系统部署KES
1、安装准备 1.版本说明V008R006C009B0014 V008：是version产品的大版本。 R006：是release产品特性版本。 C009：是通用版 B0014：是build开发过程中的构建版本2.硬件要求 #安全版和企业版 内存：1GB 以上 硬盘…...
在 Spring Boot 中使用 JSP
jsp？ 好多年没用了。重新整一下 还费了点时间，记录一下。 项目结构： pom: <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://ww…...