【学习心得】爬虫JS逆向通解思路
我希望能总结一个涵盖大部分爬虫逆向问题的固定思路，在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中，下面的通解思路尚不完善，还望各位读者见谅。
一、第一步：明确反爬手段
反爬手段可以分为几个大类
（1）检查请求头信息
服务器会检查User-Agent、Referer、检查加密的URL/API参数等等。
（2）对JS压缩、混淆和加密
JS代码运行在客户端是公开透明的所以有必要为了反爬进行一些处理。
（3）IP限制
（4）验证码
（5）字体反爬
二、第二步：针对不同的反爬手段采集相应的策略
（1）若为“URL/API参数加密”
a、寻找并快速定位加密入口【寻找入口、快速定位】
b、找到入口后进行调试分析【调试分析、破解加密】
c、分析过后通过代码模拟执行生成加密参数【模拟执行、生成参数】
（2）若为JS压缩、混淆和加密
a、若是JS压缩：可用浏览器代码格式化、复制到pycharm里进行代码格式化
b、若是JS混淆：则需要再判断混淆手段
变量混淆、常量混淆、控制流平坦化、调试保护等等
c、若是JS加密：测需要再判断加密方式
AES、MD5、SM、SHA-1、Base64等等
三、总结
JS逆向技术内容非常庞大繁杂，我画了一张思维导图帮助大家理解。图中还有部分内容由于本人尚在学习中所以还不全面。
相关文章：
【学习心得】爬虫JS逆向通解思路
我希望能总结一个涵盖大部分爬虫逆向问题的固定思路，在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中，下面的通解思路尚不完善，还望各位读者见谅。 一、第一步：明确反爬手段 反爬手段可以分为几个大类 &#…...
如何使用Logstash搜集日志传输到es集群并使用kibana检测
引言：上一期我们进行了对Elasticsearch和kibana的部署，今天我们来解决如何使用Logstash搜集日志传输到es集群并使用kibana检测 目录 Logstash部署 1.安装配置Logstash （1）安装 （2）测试文件 ÿ…...
AutoEncoder和 Denoising AutoEncoder学习笔记
参考： 【1】 https://lilianweng.github.io/posts/2018-08-12-vae/ 写在前面： 只是直觉上的认识，并没有数学推导。后面会写一篇（抄）大一统文章（概率角度理解为什么AE要选择MSE Loss） TOC 1 Au…...
计算机系统基础
一、计算机系统概述 计算机系统：硬件软件，软件包括系统软件和应用软件 二、计算机组成结构 三、存储结构 3.1 层次化存储结构 3.2 Cache Cache（高速缓存）的功能：提高CPU数据输入输出的速率，突破冯.若依曼瓶…...
live555学习 - 环境准备
环境：Ubuntu 16.04.7 ffmpeg-6.1 1 代码下载 最新版本： http://www.live555.com/liveMedia/public/ 历史版本下载 https://download.videolan.org/pub/contrib/live555/ 选择版本live.2023.01.19.tar.gz ps：没有选择新版本是新版本在…...
C++ 模拟OJ
目录 1、1576. 替换所有的问号 2、 495. 提莫攻击 3、6. Z 字形变换 4、38. 外观数列 5、 1419. 数青蛙 1、1576. 替换所有的问号 思路：分情况讨论 ?zs：左边没有元素，则仅需保证替换元素与右侧不相等；z?s：左右都…...
MariaDB MaxScale实现mysql8读写分离
MaxScale 是干什么的？ MaxScale是maridb开发的一个mysql数据中间件，其配置简单，能够实现读写分离，并且可以根据主从状态实现写库的自动切换，对多个从服务器能实现负载均衡。 MaxScale 实验环境 中间件192.168.142.13…...
代码随想录day11（1）字符串：反转字符串中的单词 （leetcode151）
题目要求：给定一个字符串，将其中单词顺序反转，且每个单词之间有且仅有一个空格。 思路：因为本题没有限制空间复杂度，所以首先想到的是用split直接分割单词，然后将单词倒叙相加。 但如果想让空间复杂度为O…...
PlantUML - 时序图
时序图主要内容 下面是一个简单的时序图，我们可以很容易并且美观的表达我们的交互流程，只需要在箭头的两边指定一个名字，加上描述即可： startuml bkloanapply -> bkloanapprove : request bkloanapprove --> bkloanapply :…...
VS Code 的粘性滚动预览 - 类似于 Excel 的冻结首行
VS Code 的粘性滚动预览 - 类似于 Excel 的冻结首行功能，即滚动 UI 显示当前源代码范围。便于在代码行数比较多的时候更好的知道自己所在的位置。粘性滚动UI 显示用户在滚动期间所处的范围，将显示编辑器顶部所在的类/接口/命名空间/函数/方法/构造函数&a…...
Java中的List
List集合的特有方法 方法介绍 方法名描述void add(int index,E element)在此集合中的指定位置插入指定的元素E remove(int index)删除指定索引处的元素，返回被删除的元素E set(int index,E element)修改指定索引处的元素，返回被修改的元素E get(int inde…...
Spring 框架模块深度解析：核心容器、数据访问、Web 层与其他关键模块
Spring 可能成为您的所有企业应用程序的一站式商店。但是，Spring 是模块化的，允许您挑选适用于您的模块，而无需引入其他模块。下面的部分提供了 Spring Framework 中所有可用模块的详细信息。Spring Framework 提供了大约20个模块，…...
前端配置开发环境，新电脑配置前端开发环境，Vue开发环境配置的详细过程（前端开发环境配置，电脑重置后配置前端开发环境）
简介：有时候，我们需要在新电脑 或者 电脑重置后，配置前端开发环境，具体都需要安装什么软件和插件，这里来记录一下（文章适合新手和小白，大佬可以带过）。 ✨前端开发环境，需…...
大模型（LLM）的量化技术Quantization原理学习
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型…...
2024.03.01作业
1. 基于UDP的TFTP文件传输 #include "test.h"#define SER_IP "192.168.1.104" #define SER_PORT 69 #define IP "192.168.191.128" #define PORT 9999enum mode {TFTP_READ 1,TFTP_WRITE 2,TFTP_DATA 3,TFTP_ACK 4,TFTP_ERR 5 };void get_…...
力扣hot100：42.接雨水
什么时候能用双指针？ （1）对撞指针： ①两数和问题中可以使用双指针，先将两数和升序排序，可以发现规律，如果当前两数和大于target，则右指针向左走。 ②接雨水问题中，左边最…...
搜索回溯算法（DFS）1------递归
目录 简介： 递归问题解题的思路模板 例题1：汉诺塔 例题2：合并两个有序链表 例题3：反转链表 例题4：两两交换链表中的节点 例题5：Pow（x,n）-快速幂 结语： 简介&…...
workstation 用途
一 workstation 用途 强大的桌面虚拟化 允许创造多种操作系统可以不用重启就跨不同操作系统进行操作可以提供隔离的安全环境 连接到vsphere 可以远程登陆服务器管理物理主机和虚拟主机任何时间都可登陆提高虚拟机效率 为任何平台开发和测试 1）借助一台单一本地…...
【三维重建】【SLAM】SplaTAM：基于3D高斯的密集RGB-D SLAM(CVPR 2024)
题目：SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM 地址：spla-tam.github.io 机构：CMU（卡内基梅隆大学）、MIT（美国麻省理工） 总结：SplaTAM，一个新…...
Go Barrier栅栏
1. 简介 实现与pythonthreading.Barrier库类似的功能，多线程同时等待达到指定数量一起放行。 有待改进地方： wait方法没有支持context控制。 2. 代码 import ("context""golang.org/x/sync/semaphore""sync/atomic" …...
深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录
ASP.NET Core 是一个跨平台的开源框架，用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录，以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...
基于uniapp+WebSocket实现聊天对话、消息监听、消息推送、聊天室等功能，多端兼容
基于 UniApp + WebSocket实现多端兼容的实时通讯系统，涵盖WebSocket连接建立、消息收发机制、多端兼容性配置、消息实时监听等功能，适配微信小程序、H5、Android、iOS等终端 目录 技术选型分析WebSocket协议优势UniApp跨平台特性WebSocket 基础实现连接管理消息收发连接…...
Leetcode 3577. Count the Number of Computer Unlocking Permutations
Leetcode 3577. Count the Number of Computer Unlocking Permutations 1. 解题思路2. 代码实现 题目链接：3577. Count the Number of Computer Unlocking Permutations 1. 解题思路 这一题其实就是一个脑筋急转弯，要想要能够将所有的电脑解锁&#x…...
相机从app启动流程
一、流程框架图 二、具体流程分析 1、得到cameralist和对应的静态信息 目录如下： 重点代码分析： 启动相机前，先要通过getCameraIdList获取camera的个数以及id，然后可以通过getCameraCharacteristics获取对应id camera的capabilities（静态信息）进行一些openCamera前的…...
Device Mapper 机制
Device Mapper 机制详解 Device Mapper（简称 DM）是 Linux 内核中的一套通用块设备映射框架，为 LVM、加密磁盘、RAID 等提供底层支持。本文将详细介绍 Device Mapper 的原理、实现、内核配置、常用工具、操作测试流程，并配以详细的…...
有限自动机到正规文法转换器v1.0
1 项目简介 这是一个功能强大的有限自动机（Finite Automaton, FA）到正规文法（Regular Grammar）转换器，它配备了一个直观且完整的图形用户界面，使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...
ip子接口配置及删除
配置永久生效的子接口，2个IP 都可以登录你这一台服务器。重启不失效。 永久的 [应用] vi /etc/sysconfig/network-scripts/ifcfg-eth0修改文件内内容 TYPE"Ethernet" BOOTPROTO"none" NAME"eth0" DEVICE"eth0" ONBOOT&q…...
【Redis】笔记｜第8节｜大厂高并发缓存架构实战与优化
缓存架构 代码结构 代码详情 功能点： 多级缓存，先查本地缓存，再查Redis，最后才查数据库热点数据重建逻辑使用分布式锁，二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...
redis和redission的区别
Redis 和 Redisson 是两个密切相关但又本质不同的技术，它们扮演着完全不同的角色： Redis: 内存数据库/数据结构存储 本质： 它是一个开源的、高性能的、基于内存的 键值存储数据库。它也可以将数据持久化到磁盘。 核心功能： 提供丰…...
Modbus RTU与Modbus TCP详解指南
目录 1. Modbus协议基础 1.1 什么是Modbus？ 1.2 Modbus协议历史 1.3 Modbus协议族 1.4 Modbus通信模型 🎭 主从架构 🔄 请求响应模式 2. Modbus RTU详解 2.1 RTU是什么？ 2.2 RTU物理层 🔌 连接方式 ⚡ 通信参数 2.3 RTU数据帧格式 📦 帧结构详解 🔍…...