当前位置: 首页 > article >正文

MySQL:如何用关系型数据库征服NoSQL核心战场?

写在前面:当SQL遇见NoSQL的十年之变

      2012年MongoDB掀起文档数据库革命时,开发者们不得不在灵活性与事务一致性之间做痛苦抉择。十年后的今天,MySQL 8.0的JSON功能已实现:

✅ 二进制存储效率超越传统BLOB 40%
✅ 多值索引使JSON查询速度逼近原生文档数据库
✅ X Protocol直接兼容MongoDB驱动程序

本文将用5个真实生产案例,揭秘MySQL JSON功能如何:

  1. 在电商秒杀场景实现10倍写入性能提升
  2. 通过混合索引策略将复杂查询耗时从800ms降至23ms
  3. 用JSON Schema校验拦截98%的非法数据写入

一、JSON支持能力演进路线

1. 版本迭代的关键突破

版本JSON特性对标MongoDB版本
5.7基础JSON类型、->操作符2.6(2014)
8.0.12多值索引、JSON聚合函数3.4(2017)
8.0.17JSON Schema校验、二进制存储优化4.0(2018)
8.0.32原生MongoDB协议兼容(X Plugin增强)5.0(2021)

2. 存储引擎的深度改造

InnoDB引擎的JSON优化:
• 二进制存储:将JSON解析为Binary JSON(BSON)格式,字段访问速度提升3倍

• 局部更新:直接修改JSON字段中的指定路径,无需全量重写

-- 局部更新示例  
UPDATE products SET specs = JSON_SET(specs, '$.weight', '2kg') WHERE id = 101;  

二、核心能力测评

1. 查询性能对比(百万级数据集)

测试场景:电商商品属性过滤(颜色=红色 且 价格<1000)

数据库索引类型QPS平均延迟存储大小
MongoDB组合索引12,3502.1ms1.7GB
MySQL多值索引9,8203.4ms2.1GB
MySQL生成列+BTREE11,2002.8ms2.3GB

索引配置差异:

-- MongoDB  
db.products.createIndex({"specs.color":1, "specs.price":1})  -- MySQL多值索引  
ALTER TABLE products ADD INDEX idx_specs_multi ((CAST(specs->'$.color' AS CHAR(20))),  (CAST(specs->'$.price' AS UNSIGNED)));  -- MySQL生成列索引  
ALTER TABLE products ADD COLUMN color VARCHAR(20) AS (specs->>'$.color'),  ADD INDEX idx_color(color);  

2. 复杂操作支持度

功能MongoDB语法MySQL等效实现
嵌套文档查询db.users.find({“address.city”:“北京”})SELECT * FROM users WHERE JSON_EXTRACT(address, ‘$.city’) = ‘北京’
数组元素聚合db.orders.aggregate([{ u n w i n d : " unwind: " unwind:"items"}])WITH items AS (SELECT JSON_TABLE(items, ‘$[*]’ …))
地理空间查询db.shops.find({loc: {$near: [116.4,39.9]}})ST_Distance_Sphere(JSON_EXTRACT(loc, ‘$’), POINT(116.4,39.9)) < 1000
变更流监听watch() APIMySQL Shell的X Protocol + Kafka连接器

三、替代MongoDB的典型场景

1. 事务混合型业务

在线教育平台案例:

  • 数据结构:课程信息(固定字段+动态扩展属性)

  • 痛点:MongoDB无法实现课程购买(事务)与属性查询的高效统一

  • MySQL方案:

-- 事务操作  
START TRANSACTION;  
INSERT INTO orders ...;  
UPDATE courses SET stock = JSON_SET(course_info, '$.stock', stock-1);  
COMMIT;  -- 多条件查询  
SELECT * FROM courses  
WHERE JSON_VALUE(course_info, '$.level') = '高级'  
AND JSON_OVERLAPS(JSON_EXTRACT(course_info, '$.tags'), '["AI","大数据"]');  

2. HTAP实时分析

用户画像分析场景:

-- 实时聚合JSON行为数据  
WITH user_actions AS (  SELECT   user_id,  JSON_OBJECTAGG(action_type, action_count) AS action_stats  FROM user_behavior  WHERE time > NOW() - INTERVAL 1 HOUR  GROUP BY user_id  
)  
SELECT   u.id,  JSON_PRETTY(  JSON_MERGE_PATCH(u.base_info,   JSON_OBJECT('recent_actions', a.action_stats))  ) AS profile  
FROM users u  
JOIN user_actions a ON u.id = a.user_id;  

四、迁移方案设计

1. 数据迁移工具链

推荐方案:

  1. 全量迁移:使用mongoexport+mysqldump转换格式
  2. 增量同步:MongoDB Connector for BI → Kafka → MySQL CDC
  3. 一致性校验:Percona Toolkit的pt-table-checksum

2. 索引策略转换指南

MongoDB索引类型MySQL等效方案注意事项
文本索引全文索引 + 分词插件需配置ngram_token_size=2
TTL索引事件调度器自动清理使用生成列存储时间戳
哈希分片InnoDB Cluster分片需配合MySQL Router使用

五、不可替代场景预警

1. MongoDB优势保留区

  • 超大规模非结构化写入:日志采集场景(单节点10万+/秒写入)

  • 动态模式频繁变更:物联网设备字段每日新增率>5%

  • 地理网格聚合运算:$geoWithin + $bucket聚合

2. 混合架构建议

智能设备监控方案:

MongoDB(原始数据存储)  │  ▼  
Kafka Streams(实时ETL)  │  ▼  
MySQL(设备状态管理 + 告警事务)  │  ▼  
Elasticsearch(日志全文检索)  

六、性能调优秘籍

1. JSON列内存优化

[mysqld]  
innodb_json_buffer_size = 256M  # JSON解析专用缓存  
json_value_temp_storage = MEMORY  # 优先内存存储临时值  

2. 并行查询加速

-- 启用JSON扫描并行化  
SELECT /*+ PARALLEL(4) */  JSON_EXTRACT(report, '$.sections[*].score') AS scores  
FROM lab_reports  
WHERE JSON_CONTAINS(report, '{"status": "completed"}');

七、未来战场推演

MySQL正在通过向量化JSON处理器(8.1预览版)实现:

  • SIMD加速:JSON路径计算速度提升8-15倍

  • 列式存储:将JSON数组自动映射为内存列结构

  • AI预测索引:基于查询模式自动生成最优索引组合


结语

当MySQL的JSON能力突破事务、性能、生态三重边界时,选择变得清晰:

  • 事务密集型:优先MySQL(如金融订单系统)

  • 查询复杂度:按索引能力选择(JSON多值索引 vs 文档组合索引)

  • 写入吞吐量:10万+/秒选MongoDB,1万-5万选MySQL

行动建议:在测试环境构建包含嵌套文档、数组操作、联机事务的混合场景POC,用真实数据验证架构选型。


新时代农民工

相关文章:

MySQL:如何用关系型数据库征服NoSQL核心战场?

写在前面&#xff1a;当SQL遇见NoSQL的十年之变 2012年MongoDB掀起文档数据库革命时&#xff0c;开发者们不得不在灵活性与事务一致性之间做痛苦抉择。十年后的今天&#xff0c;MySQL 8.0的JSON功能已实现&#xff1a; ✅ 二进制存储效率超越传统BLOB 40% ✅ 多值索引使JSON查…...

分布式之CAP原则:理解分布式系统的核心设计哲学

声明&#xff1a;CAP中的P原则都是需要带着的 在分布式系统的设计与实践中&#xff0c;CAP原则&#xff08;又称CAP定理&#xff09;是开发者必须掌握的核心理论之一。它揭示了分布式系统在一致性&#xff08;Consistency&#xff09;、可用性&#xff08;Availability&#x…...

RHCE 练习二:通过 ssh 实现两台主机免密登录以及 nginx 服务通过多 IP 区分多网站

一、题目要求 1.配置ssh实现A&#xff0c;B主机互相免密登录 2.配置nginx服务&#xff0c;通过多ip区分多网站 二、实验 实验开始前需准备两台 linux 主机便于充当服务端以及客户端&#xff0c;两台主机 IP 如下图&#xff1a; 实验1&#xff1a;配置 ssh 实现 A&#xff0…...

瑞吉外卖-分页功能开发中的两个问题

1.分页功能-前端页面展示显示500 原因&#xff1a;项目启动失败 解决&#xff1a;发现是Category实体类中&#xff0c;多定义了一个删除字段&#xff0c;但是我数据库里面没有is_deleted字段&#xff0c;导致查询数据库失败&#xff0c;所以会导致500错误。因为类是从网上其他帖…...

工业物联网安全网关 —— 安全OTA升级签名验证

这里写目录标题 工业物联网安全网关 —— 安全OTA升级签名验证一、项目背景与简介1.1 背景介绍1.2 OTA升级的安全挑战1.3 项目目标二、理论基础与关键技术2.1 数字签名基础2.2 OTA升级签名验证原理2.3 关键技术与安全算法三、系统架构设计3.1 系统模块划分3.2 系统架构图(Merm…...

生信分析平台Galaxy是使用什么语言编程?是R语言吗?

Galaxy平台是一个基于**Python**开发的开放源代码生物信息学分析平台&#xff0c;而非主要依赖R语言。以下是关键细节&#xff1a; 1. **核心语言** - **后端**&#xff1a;主要用**Python**&#xff08;Django/Flask框架&#xff09;实现服务器逻辑、工具集成和API。 …...

【Rust 精进之路之第10篇-借用·规则】引用 (``, `mut`):安全、高效地访问数据

系列: Rust 精进之路:构建可靠、高效软件的底层逻辑 作者: 码觉客 发布日期: 2025年4月20日 引言:所有权的“限制”与“变通”之道 在上一篇【所有权核心】中,我们揭示了 Rust 如何通过所有权规则和移动 (Move) 语义来保证内存安全,避免了垃圾回收器的同时,也防止了诸…...

基于瑞芯微RK3576国产ARM八核2.2GHz A72 工业评估板——Docker容器部署方法说明

前 言 本文适用开发环境: Windows开发环境:Windows 7 64bit、Windows 10 64bit Linux开发环境:VMware16.2.5、Ubuntu22.04.5 64bit U-Boot:U-Boot-2017.09 Kernel:Linux-6.1.115 LinuxSDK:LinuxSDK-[版本号](基于rk3576_linux6.1_release_v1.1.0) Docker是一个开…...

Kafka安全认证技术:SASL/SCRAM-ACL方案详解

#作者 &#xff1a;张桐瑞 文章目录 1Kafka安全认证技术介绍2基础设置3 配置SASL/SCRAM认证3.1编写server.properties配置3.2编写kafka.conf密码文件3.3编写user.properties配置文件3.4编写kafka-run-class.sh脚本文件3.5Zk中增加kafka用户3.6启动kafka进程 1Kafka安全认证技术…...

MySQL VS SQL Server:优缺点全解析

数据库选型、企业协作、技术生态、云数据库 1.1 MySQL优缺点分析 优点 开源免费 社区版完全免费&#xff0c;适合预算有限的企业 允许修改源码定制功能&#xff08;需遵守GPL协议&#xff09; 跨平台兼容性 支持Windows/Linux/macOS&#xff0c;适配混合环境部署 云服务商…...

探索 Flowable 后端表达式:简化流程自动化

什么是后端表达式&#xff1f; 在 Flowable 中&#xff0c;后端表达式是一种强大的工具&#xff0c;用于在流程、案例或决策表执行期间动态获取或设置变量。它还能实现自定义逻辑&#xff0c;或将复杂逻辑委托…… 后端表达式在 Flowable 的后端运行&#xff0c;无法访问前端…...

Mysql的redolog

保证事务持久性&#xff0c;用于崩溃恢复&#xff0c;崩溃恢复时&#xff0c;把redo上记载的页读到内存&#xff0c;对其修改&#xff0c;变为脏页&#xff0c;刷盘运用于WAL技术&#xff0c;将随机写改为顺序写 redo log有三种状态&#xff1a; 存在 redo log buffer 中&…...

HDFS入门】HDFS安全与权限管理解析:从认证到加密的完整指南

目录 引言 1 认证与授权机制 1.1 Kerberos认证集成 1.2 HDFS ACL细粒度控制 2 数据加密保护 2.1 传输层加密(SSL/TLS) 2.2 静态数据加密 3 审计与监控体系 3.1 操作审计流程 3.2 安全监控指标 4 权限模型详解 4.1 用户/组权限模型 4.2 umask配置原理 5 安全最佳实…...

React-useImperativeHandle (forwardRef)

我们会遇到这样的场景&#xff1a;某个组件想要暴露一些方法&#xff0c;来供外部组件来调用。例如我们在开发form表单的时候&#xff0c;就需要把设置表单值、重置值、提交等方法暴露给外部使用。会有如下代码&#xff1a; import { forwardRef } from react;const Form for…...

Mediatek Android13 设置Launcher

概述: 本章将围绕Launcher讲述两种修改默认Launcher的情况。 一:完全覆盖 第一种方法和预置apk类似,区别在于增加LOCAL_OVERRIDES_PACKAGES说明,该方法会完全覆盖系统默认的Launcher。 关于如何预置apk,可见另一篇文章: Mediatek Android13 预置APP-CSDN博客 修改A…...

性能比拼: Go vs Java

本内容是对知名性能评测博主 Anton Putra Go (Golang) vs Java: Performance Benchmark 内容的翻译与整理, 有适当删减, 相关指标和结论以原作为准 在本视频中&#xff0c;我们将比较 Go 和 Java。 我们将基于 Golang 的 Fiber 框架和 Java 的 Spring Boot 创建几个简单的应用…...

ElMessageBox消息弹框(vue3总结)

一 展示各种内容 const checkCheckbox (check: any, formEl: any) > {ElMessageBox({title: "服务协议及隐私权政策",message: h("p", null, [h("span", null, "我已阅读并同意 "),h("span",{style: "color: #477F…...

Jupyter Notebook 中切换/使用 conda 虚拟环境的方式(解决jupyter notebook 环境默认在base下面的问题)

使用 nb_conda_kernels 添加所有环境 一键添加所有 conda 环境 conda activate my-conda-env # this is the environment for your project and code conda install ipykernel conda deactivateconda activate base # could be also some other environment conda in…...

CLIP | 训练过程中图像特征和文本特征的在嵌入空间中的对齐(两个投影矩阵的学习)

在多模态学习&#xff08;Multimodal Learning&#xff09;中&#xff0c;投影矩阵 W i W_i Wi​ 和 W t W_t Wt​ 是通过训练过程学习得到的。它们的作用是将图像特征 I f I_f If​ 和文本特征 T f T_f Tf​ 映射到一个共享的嵌入空间&#xff08;embedding space&#xf…...

Java面试实战:从Spring Boot到微服务的深入探讨

Java面试实战&#xff1a;从Spring Boot到微服务的深入探讨 场景&#xff1a;电商场景的面试之旅 在某互联网大厂的面试间&#xff0c;面试官李老师正襟危坐&#xff0c;而对面坐着的是传说中的“水货程序员”赵大宝。 第一轮&#xff1a;核心Java与构建工具 面试官&#x…...

Tailwind CSS 开发入门:掌握基础语法要点

在前端开发中&#xff0c;Tailwind CSS 以原子化设计和实用类系统&#xff0c;构建精美页面的得力工具&#xff0c;摒弃传统 CSS 繁琐写法。掌握其基础语法是熟练运用它的关键&#xff0c;下面将详细介绍核心基础语法。 一、核心基础语法 1. 颜色类 Tailwind CSS 提供了丰富…...

Java八股 深入理解Spring的AOP 面向切面编程 底层 保姆级教程 手写例子

目录 概念 AOP 术语 1. 连接点&#xff08;Jointpoint&#xff09;&#xff1a; 2. 切入点&#xff08;Pointcut&#xff09;&#xff1a; 3. 通知&#xff08;Advice&#xff09;&#xff1a; 4. 方面/切面&#xff08;Aspect&#xff09;&#xff1a; 5. 引入&#xff…...

保生产 促安全 迎国庆

2021年的国庆节已经临近&#xff0c;与此同时陕化也迎来了祖国母亲的第七十二个生日&#xff0c;在这个普天同庆的日子里&#xff0c;陕化BDO分厂丁二醇单元化工一组的员工依然会坚守在工作的一线&#xff0c;为“保生产 促安全 迎国庆”护航掌舵&#xff0c;化工一组一直秉持着…...

【Flutter DevTools】性能优化的瑞士军刀

一、性能分析&#xff1a;帧率与资源监控 1.1 帧率监控&#xff08;Performance面板&#xff09; 通过Performance面板可实时捕获应用的渲染流水线数据。开发者点击"Record"按钮后&#xff0c;DevTools会以时间轴形式展示每一帧的构建、布局、绘制耗时。当帧率低于…...

C++std::map

1. 概述​​ ​​定义​​&#xff1a;std::map 是C标准模板库&#xff08;STL&#xff09;中的关联容器&#xff0c;以键值对&#xff08;key-value pairs&#xff09;形式存储元素&#xff0c;支持快速查找和有序访问。 ​​- 头文件​​&#xff1a;#include ​​底层实现​…...

dispaly: inline-flex 和 display: flex 的区别

display: inline-flex 和 display: flex 都是 CSS 中用于创建弹性盒子布局&#xff08;Flexbox&#xff09;的属性值&#xff0c;但它们之间有一些关键的区别&#xff0c;主要体现在元素如何在页面上被渲染和它们对周围元素的影响。 主要区别 1&#xff0c;块级 vs 行内块级 d…...

性能比拼: Elixir vs Go(第二轮)

本内容是对知名性能评测博主 Anton Putra Elixir vs Go (Golang) Performance Benchmark (Round 2) 内容的翻译与整理, 有适当删减, 相关指标和结论以原作为准 这是第二轮关于 Elixir 和 Go 的对比测试。我收到了一份来自 Elixir 创作者的 Pull Request &#xff0c;并且我认为…...

鸿蒙NEXT开发键值型数据工具类(ArkTs)

import { AppUtil } from ./AppUtil; import { distributedKVStore } from kit.ArkData; import { BusinessError } from kit.BasicServicesKit;/*** 键值型数据库工具类* author CSDN-鸿蒙布道师* since 2025/04/18*/ export class KvUtil {private static kvStore: distribut…...

【数字图像处理】立体视觉信息提取

双目立体视觉原理 设一个为参考平面&#xff0c;一个为目标平面。增加了一个摄像头后&#xff0c;P与Q在目标面T上有分别的成像点 双目立体视觉&#xff1a;从两个不同的位置观察同一物体&#xff0c;用三角测量原理计算摄像机到该物体的距离的 方法 原理&#xff1a;三角测量…...

Linux ssh免密登陆设置

使用 ssh-copy-id 命令来设置 SSH 免密登录&#xff0c;并确保所有相关文件和目录权限正确设置&#xff0c;可以按照以下步骤进行&#xff1a; 步骤 1&#xff1a;在源服务器&#xff08;198.120.1.109&#xff09;生成 SSH 密钥对 如果还没有生成 SSH 密钥对&#xff0c;首先…...