当前位置: 首页 > news >正文

利用 JSqlParser 防止 SQL 注入

高手文章《jsqlparser:实现基于SQL语法分析的SQL注入攻击检查》介绍了利用 JSqlParser 防止 SQL 注入,写得很好,只不过有两个问题,代码比较复杂,我于是作了简化,只有两个类;其次检测比较严格,连子查询都禁止,我把它开放了。

最简单的 SQL 注入检测

其实,利用 JSqlParser 解析一个语句,是否成功,就能说明这个 SQL 语句有没有被注入了。

try {CCJSqlParserUtil.parse(sql).accept(injectionChecker);return true;
} catch (Exception e) {e.printStackTrace();return false;
}

如果有异常说明被注入了。这是测试例子。

SqlInjectionAnalyzer.check("SELECT * FROM mytable WHERE id = ;DROP TABLE mytable;");

高阶的 JSqlParser 检测

就是文章所介绍的方法,主要是判断表达是否为常量来分析是否注入。主要两个类ConstAnalyzerSqlInjectionAnalyzer

package com.ajaxjs.data.util;import net.sf.jsqlparser.expression.BinaryExpression;
import net.sf.jsqlparser.expression.Expression;
import net.sf.jsqlparser.expression.Function;
import net.sf.jsqlparser.expression.operators.conditional.AndExpression;
import net.sf.jsqlparser.expression.operators.conditional.OrExpression;
import net.sf.jsqlparser.expression.operators.relational.ComparisonOperator;
import net.sf.jsqlparser.parser.CCJSqlParserUtil;
import net.sf.jsqlparser.schema.Column;
import net.sf.jsqlparser.statement.select.*;
import net.sf.jsqlparser.util.TablesNamesFinder;import java.util.regex.Pattern;/*** 基于 SQL 语法对象的 SQL 注入攻击分析实现** @author guyadong*/
public class SqlInjectionAnalyzer extends TablesNamesFinder {/*** 危险函数名*/private static final String DANGEROUS_FUNCTIONS = "(sleep|benchmark|extractvalue|updatexml|ST_LatFromGeoHash|ST_LongFromGeoHash|GTID_SUBSET|GTID_SUBTRACT|floor|ST_Pointfromgeohash"+ "|geometrycollection|multipoint|polygon|multipolygon|linestring|multilinestring)";//    private static final ThreadLocal<Boolean> disableSubSelect = new ThreadLocal<Boolean>() {
//        @Override
//        protected Boolean initialValue() {
//            return true;
//        }
//    };private final ConstAnalyzer constAnalyzer = new ConstAnalyzer();public SqlInjectionAnalyzer() {super();init(true);}@Overridepublic void visitBinaryExpression(BinaryExpression binaryExpression) {if (binaryExpression instanceof ComparisonOperator) {if (isConst(binaryExpression.getLeftExpression()) && isConst(binaryExpression.getRightExpression()))/* 禁用恒等式 */throw new SecurityException("DISABLE IDENTICAL EQUATION " + binaryExpression);}super.visitBinaryExpression(binaryExpression);}@Overridepublic void visit(AndExpression andExpression) {super.visit(andExpression);checkConstExpress(andExpression.getLeftExpression());checkConstExpress(andExpression.getRightExpression());}@Overridepublic void visit(OrExpression orExpression) {super.visit(orExpression);checkConstExpress(orExpression.getLeftExpression());checkConstExpress(orExpression.getRightExpression());}@Overridepublic void visit(Function function) {if (function.getName().matches(DANGEROUS_FUNCTIONS))/* 禁用危险函数 */throw new SecurityException("DANGEROUS FUNCTION: " + function.getName());super.visit(function);}@Overridepublic void visit(WithItem withItem) {
//        try {
//            /* 允许 WITH 语句中的子查询 */
//            disableSubSelect.set(false);
//            super.visit(withItem);
//        } finally {
//            disableSubSelect.set(true);
//        }}@Overridepublic void visit(SubSelect subSelect) {
//        if (disableSubSelect.get()) // 禁用子查询
//            throw new SecurityException("DISABLE subSelect " + subSelect);}@Overridepublic void visit(Column tableColumn) {if (isBoolean(tableColumn))throw new SecurityException("DISABLE CONST BOOL " + tableColumn);super.visit(tableColumn);}@Overridepublic void visit(PlainSelect plainSelect) {if (plainSelect.getSelectItems() != null) {for (SelectItem item : plainSelect.getSelectItems())item.accept(this);}if (plainSelect.getFromItem() != null)plainSelect.getFromItem().accept(this);if (plainSelect.getJoins() != null) {for (Join join : plainSelect.getJoins()) {join.getRightItem().accept(this);for (Expression e : join.getOnExpressions())e.accept(this);}}if (plainSelect.getWhere() != null) {plainSelect.getWhere().accept(this);checkConstExpress(plainSelect.getWhere());}if (plainSelect.getHaving() != null)plainSelect.getHaving().accept(this);if (plainSelect.getOracleHierarchical() != null)plainSelect.getOracleHierarchical().accept(this);if (plainSelect.getOrderByElements() != null) {for (OrderByElement orderByElement : plainSelect.getOrderByElements())orderByElement.getExpression().accept(this);}if (plainSelect.getGroupBy() != null) {for (Expression expression : plainSelect.getGroupBy().getGroupByExpressionList().getExpressions())expression.accept(this);}}private boolean isConst(Expression expression) {return constAnalyzer.isConstExpression(expression);}private void checkConstExpress(Expression expression) {if (constAnalyzer.isConstExpression(expression))/* 禁用常量表达式 */throw new SecurityException("DISABLE CONST EXPRESSION " + expression);}private static final Pattern BOL = Pattern.compile("(true|false)", Pattern.CASE_INSENSITIVE);/*** 如果{@link Column}没有定义table,且字段名为true/false(不区分大小写)则视为布尔常量*/public static boolean isBoolean(Column column) {return null != column && null == column.getTable() && BOL.matcher(column.getColumnName()).matches();}private static final SqlInjectionAnalyzer injectionChecker = new SqlInjectionAnalyzer();/*** SQL 注入攻击分析器* 对解析后的SQL对象执行注入攻击分析,有注入攻击的危险则抛出异常,* 并通过{@code visitor}参数提供基于AST(抽象语法树)的遍历所有节点的能力。** @param sql SQL语句* @throws SecurityException 输入的SQL语句有语法错误*/public static boolean check(String sql) {boolean allowComplexParsing = CCJSqlParserUtil.getNestingDepth(sql) <= CCJSqlParserUtil.ALLOWED_NESTING_DEPTH;try {CCJSqlParserUtil.newParser(sql).withAllowComplexParsing(allowComplexParsing).Statement().accept(injectionChecker);return true;} catch (Exception e) {e.printStackTrace();return false;}}
}
package com.ajaxjs.data.util;import net.sf.jsqlparser.expression.BinaryExpression;
import net.sf.jsqlparser.expression.Expression;
import net.sf.jsqlparser.expression.Function;
import net.sf.jsqlparser.expression.operators.conditional.AndExpression;
import net.sf.jsqlparser.expression.operators.conditional.OrExpression;
import net.sf.jsqlparser.expression.operators.relational.ComparisonOperator;
import net.sf.jsqlparser.parser.CCJSqlParserUtil;
import net.sf.jsqlparser.schema.Column;
import net.sf.jsqlparser.statement.select.*;
import net.sf.jsqlparser.util.TablesNamesFinder;import java.util.regex.Pattern;/*** 基于 SQL 语法对象的 SQL 注入攻击分析实现** @author guyadong*/
public class SqlInjectionAnalyzer extends TablesNamesFinder {/*** 危险函数名*/private static final String DANGEROUS_FUNCTIONS = "(sleep|benchmark|extractvalue|updatexml|ST_LatFromGeoHash|ST_LongFromGeoHash|GTID_SUBSET|GTID_SUBTRACT|floor|ST_Pointfromgeohash"+ "|geometrycollection|multipoint|polygon|multipolygon|linestring|multilinestring)";//    private static final ThreadLocal<Boolean> disableSubSelect = new ThreadLocal<Boolean>() {
//        @Override
//        protected Boolean initialValue() {
//            return true;
//        }
//    };private final ConstAnalyzer constAnalyzer = new ConstAnalyzer();public SqlInjectionAnalyzer() {super();init(true);}@Overridepublic void visitBinaryExpression(BinaryExpression binaryExpression) {if (binaryExpression instanceof ComparisonOperator) {if (isConst(binaryExpression.getLeftExpression()) && isConst(binaryExpression.getRightExpression()))/* 禁用恒等式 */throw new SecurityException("DISABLE IDENTICAL EQUATION " + binaryExpression);}super.visitBinaryExpression(binaryExpression);}@Overridepublic void visit(AndExpression andExpression) {super.visit(andExpression);checkConstExpress(andExpression.getLeftExpression());checkConstExpress(andExpression.getRightExpression());}@Overridepublic void visit(OrExpression orExpression) {super.visit(orExpression);checkConstExpress(orExpression.getLeftExpression());checkConstExpress(orExpression.getRightExpression());}@Overridepublic void visit(Function function) {if (function.getName().matches(DANGEROUS_FUNCTIONS))/* 禁用危险函数 */throw new SecurityException("DANGEROUS FUNCTION: " + function.getName());super.visit(function);}@Overridepublic void visit(WithItem withItem) {
//        try {
//            /* 允许 WITH 语句中的子查询 */
//            disableSubSelect.set(false);
//            super.visit(withItem);
//        } finally {
//            disableSubSelect.set(true);
//        }}@Overridepublic void visit(SubSelect subSelect) {
//        if (disableSubSelect.get()) // 禁用子查询
//            throw new SecurityException("DISABLE subSelect " + subSelect);}@Overridepublic void visit(Column tableColumn) {if (isBoolean(tableColumn))throw new SecurityException("DISABLE CONST BOOL " + tableColumn);super.visit(tableColumn);}@Overridepublic void visit(PlainSelect plainSelect) {if (plainSelect.getSelectItems() != null) {for (SelectItem item : plainSelect.getSelectItems())item.accept(this);}if (plainSelect.getFromItem() != null)plainSelect.getFromItem().accept(this);if (plainSelect.getJoins() != null) {for (Join join : plainSelect.getJoins()) {join.getRightItem().accept(this);for (Expression e : join.getOnExpressions())e.accept(this);}}if (plainSelect.getWhere() != null) {plainSelect.getWhere().accept(this);checkConstExpress(plainSelect.getWhere());}if (plainSelect.getHaving() != null)plainSelect.getHaving().accept(this);if (plainSelect.getOracleHierarchical() != null)plainSelect.getOracleHierarchical().accept(this);if (plainSelect.getOrderByElements() != null) {for (OrderByElement orderByElement : plainSelect.getOrderByElements())orderByElement.getExpression().accept(this);}if (plainSelect.getGroupBy() != null) {for (Expression expression : plainSelect.getGroupBy().getGroupByExpressionList().getExpressions())expression.accept(this);}}private boolean isConst(Expression expression) {return constAnalyzer.isConstExpression(expression);}private void checkConstExpress(Expression expression) {if (constAnalyzer.isConstExpression(expression))/* 禁用常量表达式 */throw new SecurityException("DISABLE CONST EXPRESSION " + expression);}private static final Pattern BOL = Pattern.compile("(true|false)", Pattern.CASE_INSENSITIVE);/*** 如果{@link Column}没有定义table,且字段名为true/false(不区分大小写)则视为布尔常量*/public static boolean isBoolean(Column column) {return null != column && null == column.getTable() && BOL.matcher(column.getColumnName()).matches();}private static final SqlInjectionAnalyzer injectionChecker = new SqlInjectionAnalyzer();/*** SQL 注入攻击分析器* 对解析后的SQL对象执行注入攻击分析,有注入攻击的危险则抛出异常,* 并通过{@code visitor}参数提供基于AST(抽象语法树)的遍历所有节点的能力。** @param sql SQL语句* @throws SecurityException 输入的SQL语句有语法错误*/public static boolean check(String sql) {boolean allowComplexParsing = CCJSqlParserUtil.getNestingDepth(sql) <= CCJSqlParserUtil.ALLOWED_NESTING_DEPTH;try {CCJSqlParserUtil.newParser(sql).withAllowComplexParsing(allowComplexParsing).Statement().accept(injectionChecker);return true;} catch (Exception e) {e.printStackTrace();return false;}}
}

测试:

package com.ajaxjs.data;import com.ajaxjs.data.util.SqlInjectionAnalyzer;
import org.junit.Test;import static org.junit.Assert.assertFalse;
import static org.junit.Assert.assertTrue;public class TestSqlInject {@Testpublic void test() {assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where id in (select id from other)"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where 2=2.0 or 2 != 4"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where 1!=2.0"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where id=floor(2.0)"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where not true"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where 1 or id > 0"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where 'tom' or id > 0"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where '-2.3' "));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where 2 "));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where (3+2) "));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where  -1 IS TRUE"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where 'hello' is null "));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where '2022-10-31' and id > 0"));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where id > 0 or 1!=2.0 "));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device where id > 0 or 1 in (1,3,4) "));assertFalse(SqlInjectionAnalyzer.check("select * from dc_device UNION select name from other"));assertTrue(SqlInjectionAnalyzer.check("WITH SUB1 AS (SELECT user FROM t1) SELECT * FROM T2 WHERE id > 123 "));boolean check = SqlInjectionAnalyzer.check("SELECT * FROM mytable WHERE id = ;DROP TABLE mytable;");System.out.println(check);}}

相关文章:

利用 JSqlParser 防止 SQL 注入

高手文章《jsqlparser:实现基于SQL语法分析的SQL注入攻击检查》介绍了利用 JSqlParser 防止 SQL 注入&#xff0c;写得很好&#xff0c;只不过有两个问题&#xff0c;代码比较复杂&#xff0c;我于是作了简化&#xff0c;只有两个类&#xff1b;其次检测比较严格&#xff0c;连…...

10.27~10.29数电第三次实验分析与问题

实验要求 分析 寄存器 D触发器有两个输出口&#xff0c;一个输入口&#xff0c;一个时钟信号&#xff0c;一个复位信号 同步异步就是说复位信号在不在always里 给它加一个load就成了一位寄存器&#xff0c; 寄存器堆 8个8位的寄存器堆&#xff0c;每个寄存器都有两读一写…...

【软考】14.3 设计模式

《设计模式》 有下划线&#xff1a;类模式 / 对象模式无下划线&#xff1a;对象模式 创建型 设计模式 创建对象 构建器&#xff08;Builder&#xff09;&#xff1a;类和构造分离抽象工厂&#xff08;Abstract Factory&#xff09;&#xff1a;抽象接口工厂&#xff08;Factor…...

Mac docker+vscode

mac 使用docker vs code 通过vscode 可以使用docker容器的环境。 可以在容器安装gdb, 直接调试代码。 创建容易时候可以指定目录和容易目录可以共享文件。...

LLVM学习笔记(58)

4.4. 目标机器对象 在main()函数的350行&#xff0c;TimeCompilations默认为1&#xff0c;可以通过隐藏的选项“-time-compilations”来指定它的值&#xff0c;它的作用是重复进行指定次数的编译&#xff0c;以得到更好的编译用时数据。而在这个循环中调用的compileModule()&a…...

C语言 每日一题 PTA 10.30 day8

1.高空坠球 皮球从某给定高度自由落下&#xff0c;触地后反弹到原高度的一半&#xff0c;再落下&#xff0c;再反弹&#xff0c;……&#xff0c;如此反复。问皮球在第n次落地时&#xff0c;在空中一共经过多少距离&#xff1f;第n次反弹的高度是多少&#xff1f; 输入格式 : …...

nacos在linux中的安装、集群的配置、mysql生产配置

1.下载和安装 官方下载地址&#xff1a;https://github.com/alibaba/nacos/releases&#xff0c;根据自己需要的本版去下载就行 下载的是 .tar.gz 后缀的文件是linux版本的 使用tar命令解压&#xff0c;完成之后是一个nacos的文件夹 和windows下的文件夹目录是一样的 要启…...

OpenAI 组建安全 AGI 新团队!应对AI“潘多拉魔盒”

夕小瑶科技说 原创 作者 | 小戏 一旦谈及未来 AI&#xff0c;除了天马行空的科幻畅想&#xff0c;不可避免的也有未来 AI 时代的末日预言。从 AI 武器化到 AI 欺骗&#xff0c;从邪恶 AI 到 AI 掌权&#xff0c;人工智能&#xff0c;尤其是通用人工智能的风险始终都清清楚楚的…...

上网行为管理软件有哪些丨功能图文超详细介绍

很多人都在后台问&#xff0c;上网行为管理软件到底是什么&#xff0c;有什么作用&#xff0c;今天就重点给大家讲解一下&#xff1a; 是什么 上网行为管理软件可以帮助企业规范员工的上网行为&#xff0c;提高办公效率&#xff0c;减少潜在威胁。 有哪些 在市面上&#xff…...

DVWA-SQL Injection SQL注入

概念 SQL注入&#xff0c;是指将特殊构造的恶意SQL语句插入Web表单的输入或页面请求的查询字符串中&#xff0c;从而欺骗后端Web服务器以执行该恶意SQL语句。 成功的 SQL 注入漏洞可以从数据库中读取敏感数据、修改数据库数据&#xff08;插入/更新/删除&#xff09;、对数据…...

【0基础学Java第四课】-- 逻辑控制

4. 逻辑控制 4.1 顺序结构4.2 分支结构4.2.1 if语句判断一个数字是奇数还是偶数判断一个数字是正数&#xff0c;负数&#xff0c;还是零判断一个年份是否为闰年 4.2.2 switch 语句 4.3 while循环打印 1 - 10 的数字计算 1 - 100 的和计算 5 的阶乘计算1&#xff01;2&#xff0…...

C++中的std::cout与std::cerr、std::clog

本文用于记录C中std::cout与std::cerr、std::clog的异同 std::cerr 是C标准库中的标准错误输出流&#xff0c;用于向标准错误设备输出信息&#xff0c;通常用于报告程序的错误和异常情况。与之相对的&#xff0c;std::cout 是标准输出流&#xff0c;用于向标准输出设备输出一般…...

No authorization token was found

今天遇到了一个问题&#xff0c;我把前后端逻辑都理了一遍&#xff0c;开始怀疑后端&#xff0c;后端肯定没错了&#xff0c;把前端理了一遍&#xff0c;ok前后端没错&#xff0c;我错。登录哪里需要的token&#xff1f;&#xff1f;&#xff1f;&#xff1f;把我搞懵逼了。 测…...

Kubernetes概述及其组件/核心组件

目录 1、K8S 是什么&#xff1f; 2、为什么要用 K8S? 3、k8s的特性 4、Kubernetes 集群架构与组件 5、核心组件 Master 组件 ●Kube-apiserver ●Kube-controller-manager ●Kube-scheduler 配置存储中心 ●etcd Node 组件 ●Kubelet ●Kube-Proxy ●docker 或…...

毫米波雷达实时采集教

https://www.cnblogs.com/dhyc/p/10510876.html 毫米波雷达实时采集教程---- 以及好网站总结&#xff1a;资料分享——RSP1 多普勒雷达开发套件...

Java进阶(HashMap)——面试时HashMap常见问题解读 结合源码分析

前言 List、Set、HashMap作为Java中常用的集合&#xff0c;需要深入认识其原理和特性。 本篇博客介绍常见的关于Java中HashMap集合的面试问题&#xff0c;结合源码分析题目背后的知识点。 关于List的博客文章如下&#xff1a; Java进阶&#xff08;List&#xff09;——面试…...

Kotlin 使用@BindingAdapter编译出错

在 Kotlin 中使用 BindingAdapter 注解时&#xff0c;需要确保你的项目正确配置了 Data Binding。 首先&#xff0c;请确保在项目的 build.gradle 文件中启用了 Data Binding&#xff1a; android {// ...dataBinding {enabled true} }接下来&#xff0c;请确保你在正确的地…...

Qt之信号和槽,connect参数分析

connect()方法 Qt进行信号和槽连接&#xff0c;有以下几种方法&#xff1a; static QMetaObject::Connection connect(const QObject *sender, const char *signal, const QObject *receiver, const char *member, Qt::ConnectionType Qt::AutoConnection); static QMetaObj…...

Python学习笔记—元组

1、元组定义 元组使用&#xff08;&#xff09;来定义&#xff0c;元素在&#xff08;&#xff09;括号内&#xff0c;用逗号隔开 空元组定义&#xff0c;元组名&#xff08;&#xff09; 注&#xff1a;当元组只有1个元素的时候&#xff0c;需要在元素后面加逗号&#xff0c;…...

【C++项目】高并发内存池第五讲内存回收释放过程介绍

内存回收 1.ThreadCache2.CentralCache3.PageCache 项目源代码&#xff1a;高并发内存池 1.ThreadCache void ThreadCache::Deallocate(void* ptr, size_t size) {assert(ptr);assert(size < MAX_BYTES);//计算在哪号桶中&#xff0c;然后插入进去size_t index SizeClass…...

高频面试之3Zookeeper

高频面试之3Zookeeper 文章目录 高频面试之3Zookeeper3.1 常用命令3.2 选举机制3.3 Zookeeper符合法则中哪两个&#xff1f;3.4 Zookeeper脑裂3.5 Zookeeper用来干嘛了 3.1 常用命令 ls、get、create、delete、deleteall3.2 选举机制 半数机制&#xff08;过半机制&#xff0…...

Frozen-Flask :将 Flask 应用“冻结”为静态文件

Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是&#xff1a;将一个 Flask Web 应用生成成纯静态 HTML 文件&#xff0c;从而可以部署到静态网站托管服务上&#xff0c;如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...

【算法训练营Day07】字符串part1

文章目录 反转字符串反转字符串II替换数字 反转字符串 题目链接&#xff1a;344. 反转字符串 双指针法&#xff0c;两个指针的元素直接调转即可 class Solution {public void reverseString(char[] s) {int head 0;int end s.length - 1;while(head < end) {char temp …...

【Web 进阶篇】优雅的接口设计:统一响应、全局异常处理与参数校验

系列回顾&#xff1a; 在上一篇中&#xff0c;我们成功地为应用集成了数据库&#xff0c;并使用 Spring Data JPA 实现了基本的 CRUD API。我们的应用现在能“记忆”数据了&#xff01;但是&#xff0c;如果你仔细审视那些 API&#xff0c;会发现它们还很“粗糙”&#xff1a;有…...

解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错

出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上&#xff0c;所以报错&#xff0c;到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本&#xff0c;cu、torch、cp 的版本一定要对…...

LLM基础1_语言模型如何处理文本

基于GitHub项目&#xff1a;https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken&#xff1a;OpenAI开发的专业"分词器" torch&#xff1a;Facebook开发的强力计算引擎&#xff0c;相当于超级计算器 理解词嵌入&#xff1a;给词语画"…...

全面解析各类VPN技术:GRE、IPsec、L2TP、SSL与MPLS VPN对比

目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec&#xff1f; IPsec VPN 5.1 IPsec传输模式&#xff08;Transport Mode&#xff09; 5.2 IPsec隧道模式&#xff08;Tunne…...

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架&#xff0c;允许使用简单的变成模型跨计算机对大型集群进行分布式处理&#xff08;1.海量的数据存储 2.海量数据的计算&#xff09;Hadoop核心组件 hdfs&#xff08;分布式文件存储系统&#xff09;&a…...

Git 3天2K星标:Datawhale 的 Happy-LLM 项目介绍(附教程)

引言 在人工智能飞速发展的今天&#xff0c;大语言模型&#xff08;Large Language Models, LLMs&#xff09;已成为技术领域的焦点。从智能写作到代码生成&#xff0c;LLM 的应用场景不断扩展&#xff0c;深刻改变了我们的工作和生活方式。然而&#xff0c;理解这些模型的内部…...

Python Einops库:深度学习中的张量操作革命

Einops&#xff08;爱因斯坦操作库&#xff09;就像给张量操作戴上了一副"语义眼镜"——让你用人类能理解的方式告诉计算机如何操作多维数组。这个基于爱因斯坦求和约定的库&#xff0c;用类似自然语言的表达式替代了晦涩的API调用&#xff0c;彻底改变了深度学习工程…...