【学习心得】爬虫JS逆向通解思路
我希望能总结一个涵盖大部分爬虫逆向问题的固定思路，在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中，下面的通解思路尚不完善，还望各位读者见谅。
一、第一步：明确反爬手段
反爬手段可以分为几个大类
（1）检查请求头信息
服务器会检查User-Agent、Referer、检查加密的URL/API参数等等。
（2）对JS压缩、混淆和加密
JS代码运行在客户端是公开透明的所以有必要为了反爬进行一些处理。
（3）IP限制
（4）验证码
（5）字体反爬
二、第二步：针对不同的反爬手段采集相应的策略
（1）若为“URL/API参数加密”
a、寻找并快速定位加密入口【寻找入口、快速定位】
b、找到入口后进行调试分析【调试分析、破解加密】
c、分析过后通过代码模拟执行生成加密参数【模拟执行、生成参数】
（2）若为JS压缩、混淆和加密
a、若是JS压缩：可用浏览器代码格式化、复制到pycharm里进行代码格式化
b、若是JS混淆：则需要再判断混淆手段
变量混淆、常量混淆、控制流平坦化、调试保护等等
c、若是JS加密：测需要再判断加密方式
AES、MD5、SM、SHA-1、Base64等等
三、总结
JS逆向技术内容非常庞大繁杂，我画了一张思维导图帮助大家理解。图中还有部分内容由于本人尚在学习中所以还不全面。
相关文章：
【学习心得】爬虫JS逆向通解思路
我希望能总结一个涵盖大部分爬虫逆向问题的固定思路，在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中，下面的通解思路尚不完善，还望各位读者见谅。 一、第一步：明确反爬手段 反爬手段可以分为几个大类 &#…...
如何使用Logstash搜集日志传输到es集群并使用kibana检测
引言：上一期我们进行了对Elasticsearch和kibana的部署，今天我们来解决如何使用Logstash搜集日志传输到es集群并使用kibana检测 目录 Logstash部署 1.安装配置Logstash （1）安装 （2）测试文件 ÿ…...
AutoEncoder和 Denoising AutoEncoder学习笔记
参考： 【1】 https://lilianweng.github.io/posts/2018-08-12-vae/ 写在前面： 只是直觉上的认识，并没有数学推导。后面会写一篇（抄）大一统文章（概率角度理解为什么AE要选择MSE Loss） TOC 1 Au…...
计算机系统基础
一、计算机系统概述 计算机系统：硬件软件，软件包括系统软件和应用软件 二、计算机组成结构 三、存储结构 3.1 层次化存储结构 3.2 Cache Cache（高速缓存）的功能：提高CPU数据输入输出的速率，突破冯.若依曼瓶…...
live555学习 - 环境准备
环境：Ubuntu 16.04.7 ffmpeg-6.1 1 代码下载 最新版本： http://www.live555.com/liveMedia/public/ 历史版本下载 https://download.videolan.org/pub/contrib/live555/ 选择版本live.2023.01.19.tar.gz ps：没有选择新版本是新版本在…...
C++ 模拟OJ
目录 1、1576. 替换所有的问号 2、 495. 提莫攻击 3、6. Z 字形变换 4、38. 外观数列 5、 1419. 数青蛙 1、1576. 替换所有的问号 思路：分情况讨论 ?zs：左边没有元素，则仅需保证替换元素与右侧不相等；z?s：左右都…...
MariaDB MaxScale实现mysql8读写分离
MaxScale 是干什么的？ MaxScale是maridb开发的一个mysql数据中间件，其配置简单，能够实现读写分离，并且可以根据主从状态实现写库的自动切换，对多个从服务器能实现负载均衡。 MaxScale 实验环境 中间件192.168.142.13…...
代码随想录day11（1）字符串：反转字符串中的单词 （leetcode151）
题目要求：给定一个字符串，将其中单词顺序反转，且每个单词之间有且仅有一个空格。 思路：因为本题没有限制空间复杂度，所以首先想到的是用split直接分割单词，然后将单词倒叙相加。 但如果想让空间复杂度为O…...
PlantUML - 时序图
时序图主要内容 下面是一个简单的时序图，我们可以很容易并且美观的表达我们的交互流程，只需要在箭头的两边指定一个名字，加上描述即可： startuml bkloanapply -> bkloanapprove : request bkloanapprove --> bkloanapply :…...
VS Code 的粘性滚动预览 - 类似于 Excel 的冻结首行
VS Code 的粘性滚动预览 - 类似于 Excel 的冻结首行功能，即滚动 UI 显示当前源代码范围。便于在代码行数比较多的时候更好的知道自己所在的位置。粘性滚动UI 显示用户在滚动期间所处的范围，将显示编辑器顶部所在的类/接口/命名空间/函数/方法/构造函数&a…...
Java中的List
List集合的特有方法 方法介绍 方法名描述void add(int index,E element)在此集合中的指定位置插入指定的元素E remove(int index)删除指定索引处的元素，返回被删除的元素E set(int index,E element)修改指定索引处的元素，返回被修改的元素E get(int inde…...
Spring 框架模块深度解析：核心容器、数据访问、Web 层与其他关键模块
Spring 可能成为您的所有企业应用程序的一站式商店。但是，Spring 是模块化的，允许您挑选适用于您的模块，而无需引入其他模块。下面的部分提供了 Spring Framework 中所有可用模块的详细信息。Spring Framework 提供了大约20个模块，…...
前端配置开发环境，新电脑配置前端开发环境，Vue开发环境配置的详细过程（前端开发环境配置，电脑重置后配置前端开发环境）
简介：有时候，我们需要在新电脑 或者 电脑重置后，配置前端开发环境，具体都需要安装什么软件和插件，这里来记录一下（文章适合新手和小白，大佬可以带过）。 ✨前端开发环境，需…...
大模型（LLM）的量化技术Quantization原理学习
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型…...
2024.03.01作业
1. 基于UDP的TFTP文件传输 #include "test.h"#define SER_IP "192.168.1.104" #define SER_PORT 69 #define IP "192.168.191.128" #define PORT 9999enum mode {TFTP_READ 1,TFTP_WRITE 2,TFTP_DATA 3,TFTP_ACK 4,TFTP_ERR 5 };void get_…...
力扣hot100：42.接雨水
什么时候能用双指针？ （1）对撞指针： ①两数和问题中可以使用双指针，先将两数和升序排序，可以发现规律，如果当前两数和大于target，则右指针向左走。 ②接雨水问题中，左边最…...
搜索回溯算法（DFS）1------递归
目录 简介： 递归问题解题的思路模板 例题1：汉诺塔 例题2：合并两个有序链表 例题3：反转链表 例题4：两两交换链表中的节点 例题5：Pow（x,n）-快速幂 结语： 简介&…...
workstation 用途
一 workstation 用途 强大的桌面虚拟化 允许创造多种操作系统可以不用重启就跨不同操作系统进行操作可以提供隔离的安全环境 连接到vsphere 可以远程登陆服务器管理物理主机和虚拟主机任何时间都可登陆提高虚拟机效率 为任何平台开发和测试 1）借助一台单一本地…...
【三维重建】【SLAM】SplaTAM：基于3D高斯的密集RGB-D SLAM(CVPR 2024)
题目：SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM 地址：spla-tam.github.io 机构：CMU（卡内基梅隆大学）、MIT（美国麻省理工） 总结：SplaTAM，一个新…...
Go Barrier栅栏
1. 简介 实现与pythonthreading.Barrier库类似的功能，多线程同时等待达到指定数量一起放行。 有待改进地方： wait方法没有支持context控制。 2. 代码 import ("context""golang.org/x/sync/semaphore""sync/atomic" …...
eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)
说明： 想象一下，你正在用eNSP搭建一个虚拟的网络世界，里面有虚拟的路由器、交换机、电脑（PC）等等。这些设备都在你的电脑里面“运行”，它们之间可以互相通信，就像一个封闭的小王国。 但是&#…...
C++：std::is_convertible
C++标志库中提供is_convertible，可以测试一种类型是否可以转换为另一只类型： template <class From, class To> struct is_convertible; 使用举例： #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...
linux 下常用变更-8
1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行，YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID： YW3…...
unix/linux，sudo，其发展历程详细时间线、由来、历史背景
sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...
IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)
文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...
人工智能（大型语言模型 LLMs）对不同学科的影响以及由此产生的新学习方式
今天是关于AI如何在教学中增强学生的学习体验，我把重要信息标红了。人文学科的价值被低估了 ⬇️ 转型与必要性 人工智能正在深刻地改变教育，这并非炒作，而是已经发生的巨大变革。教育机构和教育者不能忽视它，试图简单地禁止学生使…...
【Nginx】使用 Nginx+Lua 实现基于 IP 的访问频率限制
使用 NginxLua 实现基于 IP 的访问频率限制 在高并发场景下，限制某个 IP 的访问频率是非常重要的，可以有效防止恶意攻击或错误配置导致的服务宕机。以下是一个详细的实现方案，使用 Nginx 和 Lua 脚本结合 Redis 来实现基于 IP 的访问频率限制…...
MySQL 8.0 事务全面讲解
以下是一个结合两次回答的 MySQL 8.0 事务全面讲解，涵盖了事务的核心概念、操作示例、失败回滚、隔离级别、事务性 DDL 和 XA 事务等内容，并修正了查看隔离级别的命令。 MySQL 8.0 事务全面讲解 一、事务的核心概念（ACID） 事务是…...
Git常用命令完全指南：从入门到精通
Git常用命令完全指南：从入门到精通 一、基础配置命令 1. 用户信息配置 # 设置全局用户名 git config --global user.name "你的名字"# 设置全局邮箱 git config --global user.email "你的邮箱example.com"# 查看所有配置 git config --list…...
脑机新手指南（七）：OpenBCI_GUI：从环境搭建到数据可视化（上）
一、OpenBCI_GUI 项目概述 （一）项目背景与目标 OpenBCI 是一个开源的脑电信号采集硬件平台，其配套的 OpenBCI_GUI 则是专为该硬件设计的图形化界面工具。对于研究人员、开发者和学生而言，首次接触 OpenBCI 设备时，往…...