当前位置: 首页 > article >正文

MySQL分区实战指南:从原理到落地的完整攻略

作为一名长期深耕后端开发的工程师相信很多同学都遇到过这样的痛点随着业务增长单表数据量突破千万甚至亿级后即使加了索引查询依然卡顿定期清理历史数据时delete 语句执行几小时还会导致从库延迟。其实这些问题用 MySQL 分区就能完美解决。今天就从原理到实操带大家彻底掌握分区技术让大表查询效率翻倍一、MySQL 分区大表优化的 “手术刀”1.1 分区的核心优势查询提速只扫描目标分区避免全表扫描。比如按月分区的订单表查询近 3 个月数据时仅需访问 3 个分区效率提升显著。维护高效删除历史数据无需 delete直接 drop 分区秒级完成且不影响业务。存储扩展不同分区可部署在不同磁盘冷热数据分离降低存储成本的同时保证热数据性能。1.2 哪些场景适合用分区数据量超 1000 万的大表如订单表、日志表需按时间范围查询数据如报表统计、历史记录查询有定期归档 / 删除历史数据需求如日志保留 6 个月冷热数据访问频率差异大如近 3 个月数据高频访问一年前数据极少查询。1.3 避坑指南分区前必须知道的限制分区列必须包含在主键 / 唯一索引中否则创建失败不支持外键、全文索引和临时表范围分区中NULL 值会被分配到最小分区若查询不包含分区键会扫描所有分区反而降低效率。二、4 种核心分区类型 实操案例2.1 范围分区最常用的时间分区方案适合按连续范围划分数据如时间、数值实操中以时间分区最常见。-- 按年份分区的日志表生产环境直接套用CREATETABLErange_log_data(idINTAUTO_INCREMENT,log_messageTEXT,log_dateDATE-- 分区键需包含在主键/索引中)PARTITIONBYRANGE(YEAR(log_date))(PARTITIONp2023VALUESLESS THAN(2024),PARTITIONp2024VALUESLESS THAN(2025),PARTITIONp2025VALUESLESS THAN(2026),-- 预留未来分区避免后续频繁扩容PARTITIONp_futureVALUESLESS THAN MAXVALUE);2.2 列表分区固定分类数据的首选适合按离散值分区如地区、状态需注意仅支持整型非整型需通过函数转换。-- 按日志类型分区1-信息2-警告3-错误CREATETABLElist_log_info(idINTAUTO_INCREMENT,log_messageVARCHAR(50),log_typeINT-- 分区键离散整型值)PARTITIONBYLIST(log_type)(PARTITIONp_infoVALUESIN(1),-- 信息日志PARTITIONp_warningVALUESIN(2),-- 警告日志PARTITIONp_errVALUESIN(3)-- 错误日志);2.3 哈希分区数据均匀分布神器自动将数据均匀分配到指定分区适合无需特定查询规则的场景。-- 按用户ID哈希分区均衡各分区压力CREATETABLEhash_students_info(idINTAUTO_INCREMENT,student_idINT,-- 分区键student_nameVARCHAR(50))PARTITIONBYHASH(student_id)PARTITIONS4;-- 分区数量建议为2的幂2/4/8分布更均匀2.4 按键分区简化主键分区操作无需指定分区键时默认使用主键 / 唯一索引适合简单场景。-- 按主键自动分区懒人必备CREATETABLEkey_user_info(idINTNOTNULLPRIMARYKEY,-- 默认用主键作为分区键nameVARCHAR(20))PARTITIONBYKEY()PARTITIONS4;2.5 子分区复杂场景的进阶方案在主分区基础上再次分区适合需多维度查询的场景如按年 按地区。-- 按年份范围分区再按日期哈希子分区CREATETABLEsub_user_info(idINTAUTO_INCREMENTPRIMARYKEY,birthdateDATE)PARTITIONBYRANGE(YEAR(birthdate))SUBPARTITIONBYHASH(TO_DAYS(birthdate))SUBPARTITIONS2(PARTITIONp0VALUESLESS THAN(2000),PARTITIONp1VALUESLESS THAN(2010),PARTITIONp2VALUESLESS THAN MAXVALUE);三、分区表的日常管理技巧3.1 新增分区范围分区为例-- 给日志表新增2026年分区ALTERTABLErange_log_dataADDPARTITION(PARTITIONp2026VALUESLESS THAN(2027));3.2 删除历史分区秒级清理数据-- 删除2023年的历史日志不用delete直接dropALTERTABLErange_log_dataDROPPARTITIONp2023;3.3 查看分区数据-- 查看2024年分区的所有数据SELECT*FROMrange_log_dataPARTITION(p2024);-- 统计各分区数据量避免数据倾斜SELECTPARTITION_NAME,TABLE_ROWSFROMINFORMATION_SCHEMA.PARTITIONSWHERETABLE_NAMErange_log_data;3.4 分区交换数据迁移神器-- 1.创建与分区表结构一致的临时表CREATETABLErange_log_data_tmpLIKErange_log_data;-- 2.移除临时表分区ALTERTABLErange_log_data_tmp REMOVE PARTITIONING;-- 3.交换分区数据适合批量迁移/归档ALTERTABLErange_log_data EXCHANGEPARTITIONp2024WITHTABLErange_log_data_tmp;四、生产环境最佳实践分区键选择优先选择查询频率最高的字段如订单表的 create_time确保查询能命中分区分区数量建议单个表分区数不超过 50 个过多会增加元数据开销预留分区创建表时提前预留未来 1-2 年的分区避免后续频繁扩容定期维护每月检查分区数据分布对数据倾斜的分区及时调整备份策略对重要分区单独备份降低恢复风险。结语MySQL 分区是大表优化的核心技术之一合理使用能大幅提升查询效率和维护便利性。但分区不是银弹需结合业务场景选择合适的分区类型和策略。如果你的业务中也有大表性能瓶颈不妨试试文中的方案欢迎在评论区分享你的实践经验

相关文章:

MySQL分区实战指南:从原理到落地的完整攻略

作为一名长期深耕后端开发的工程师,相信很多同学都遇到过这样的痛点:随着业务增长,单表数据量突破千万甚至亿级后,即使加了索引,查询依然卡顿;定期清理历史数据时,delete 语句执行几小时还会导致…...

3大核心功能解析:ArchivePasswordTestTool高效恢复加密压缩包密码

3大核心功能解析:ArchivePasswordTestTool高效恢复加密压缩包密码 【免费下载链接】ArchivePasswordTestTool 利用7zip测试压缩包的功能 对加密压缩包进行自动化测试密码 项目地址: https://gitcode.com/gh_mirrors/ar/ArchivePasswordTestTool ArchivePassw…...

多线程--第一次小结

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录一、线程和进程的区别和共同点二、创建线程1.继承Thread,重写run方法2.实现Runnable接口,重写run3.继承Thread,重写run,使用匿名内部类4.使用匿名内部类,基于Runnabl…...

强化学习(7)--时序差分方法

说明:本系列文章是我在学习了西湖大学赵世钰老师的《Mathematical Foundations of Reinforcement Learning》一书后的学习笔记,在B站上有赵老师的完整课程视频。 课程视频链接 PDF教材链接 本文代码链接 一、TD算法的基本形式(TD0&#xf…...

技术解析 | TSMaster—CCP/XCP标定功能在汽车电子开发中的实战应用

1. 汽车电子开发中的标定技术基础 在汽车电子系统开发过程中,标定(Calibration)是一个至关重要的环节。简单来说,标定就是通过调整ECU(电子控制单元)中的参数,使车辆性能达到最优状态的过程。想…...

终极Windows Defender移除指南:如何彻底关闭13项核心安全服务

终极Windows Defender移除指南:如何彻底关闭13项核心安全服务 【免费下载链接】windows-defender-remover A tool which is uses to remove Windows Defender in Windows 8.x, Windows 10 (every version) and Windows 11. 项目地址: https://gitcode.com/gh_mirr…...

RWKV7-1.5B-G1A模型网络通信优化与协议设计

RWKV7-1.5B-G1A模型网络通信优化与协议设计 1. 为什么需要网络层优化 大模型服务在实际部署中,网络通信往往成为性能瓶颈。我们测试发现,RWKV7-1.5B-G1A模型在本地推理时平均响应时间为120ms,但通过网络API调用时延迟飙升至450ms以上。这种…...

深入MiniCPM-o-4.5-nvidia-FlagOS:理解大模型背后的计算机组成原理

深入MiniCPM-o-4.5-nvidia-FlagOS:理解大模型背后的计算机组成原理 你是不是也好奇,像MiniCPM-o-4.5这样的大模型,为什么能在NVIDIA的GPU上跑得飞快?为什么换个显卡,生成速度就能天差地别?这背后&#xff…...

终极指南:zenodo_get深度解析与高效科研数据下载实战

终极指南:zenodo_get深度解析与高效科研数据下载实战 【免费下载链接】zenodo_get Zenodo_get: Downloader for Zenodo records 项目地址: https://gitcode.com/gh_mirrors/ze/zenodo_get 在科研数据管理领域,zenodo_get作为专业的Zenodo记录下载…...

EldenRingSaveCopier终极教程:轻松实现艾尔登法环存档安全迁移

EldenRingSaveCopier终极教程:轻松实现艾尔登法环存档安全迁移 【免费下载链接】EldenRingSaveCopier 项目地址: https://gitcode.com/gh_mirrors/el/EldenRingSaveCopier 还在为《艾尔登法环》存档丢失而烦恼吗?这款开源工具EldenRingSaveCopie…...

终极WeMod增强器完整指南:零成本解锁专业版特权功能

终极WeMod增强器完整指南:零成本解锁专业版特权功能 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/gh_mirrors/we/Wand-Enhancer 还在为WeMod专业版的高昂订阅费而烦恼吗…...

83个高效Tracker服务器:让你的BT下载速度飙升300%的终极秘籍

83个高效Tracker服务器:让你的BT下载速度飙升300%的终极秘籍 【免费下载链接】trackerslist Updated list of public BitTorrent trackers 项目地址: https://gitcode.com/GitHub_Trending/tr/trackerslist 还在为BT下载速度慢如蜗牛而烦恼吗?每次…...

高性能B站视频下载工具架构设计:哔哩下载姬downkyi技术深度解析

高性能B站视频下载工具架构设计:哔哩下载姬downkyi技术深度解析 【免费下载链接】downkyi 哔哩下载姬downkyi,哔哩哔哩网站视频下载工具,支持批量下载,支持8K、HDR、杜比视界,提供工具箱(音视频提取、去水印…...

GLM-4-9B-Chat-1M部署全攻略:vLLM加速+Chainlit界面,新手友好教程

GLM-4-9B-Chat-1M部署全攻略:vLLM加速Chainlit界面,新手友好教程 1. 为什么选择GLM-4-9B-Chat-1M GLM-4-9B-Chat-1M是智谱AI推出的新一代开源大模型,在多项基准测试中表现出色。这个版本特别针对长文本对话场景优化,支持高达1M&…...

系统高速下载工具

链接:https://pan.quark.cn/s/ae5af7fb722e系统高速下载工具是一款专为 Windows 系统设计的纯净镜像高速下载工具,单文件绿色运行、无冗余写入,可直连微软官方服务器获取 Win10/Win11 全版本原版系统。一款简单、易用的系统映像高速下载工具 …...

React 实现 AI 流式打字机对话:SSE 分包粘包处理 + 并发优化

核心功能说明 完全对标豆包官网,涵盖所有生产级必备功能,无任何冗余逻辑: SSE 标准流式解析:兼容所有主流大模型(豆包、通义千问、ChatGPT),严格处理 TCP 分包/粘包,不丢字、不乱码。…...

【小白学习大模型】第一天,本地服务器部署大模型

目前部署的Qwen2.5最新结果:(llm_lab) yukeweiinin5880-Virtual-Machine:~/test_qwen$ /home/yukewei/miniconda3/envs/llm_lab/bin/python /home/yukewei/test_qwen/test_qwen2.5_basic.py 正在从本地加载模型,请耐心等待... Failed to load /home/yuke…...

Verdi VC Apps批量模式实战:如何用listRegisters.pl脚本高效提取寄存器列表(附常见报错解决方案)

Verdi VC Apps批量模式实战:如何用listRegisters.pl脚本高效提取寄存器列表(附常见报错解决方案) 在数字IC验证的日常工作中,寄存器列表的提取是一项基础但极其重要的工作。无论是覆盖率分析、寄存器模型生成还是调试效率提升&…...

5分钟掌握SD-PPP:让Photoshop变身AI图像生成工作站的终极指南

5分钟掌握SD-PPP:让Photoshop变身AI图像生成工作站的终极指南 【免费下载链接】sd-ppp A Photoshop AI plugin 项目地址: https://gitcode.com/gh_mirrors/sd/sd-ppp SD-PPP是一款革命性的Photoshop AI插件,它巧妙地将专业级AI图像生成能力无缝集…...

如何用GraphvizOnline在5分钟内创建专业流程图:终极免费可视化工具指南

如何用GraphvizOnline在5分钟内创建专业流程图:终极免费可视化工具指南 【免费下载链接】GraphvizOnline Lets Graphviz it online 项目地址: https://gitcode.com/gh_mirrors/gr/GraphvizOnline 还在为复杂的图表绘制工具而烦恼吗?GraphvizOnlin…...

终极Windows与Office激活指南:5分钟完成智能激活的完整解决方案

终极Windows与Office激活指南:5分钟完成智能激活的完整解决方案 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 你是否曾为Windows系统或Office办公套件的激活问题而烦恼&#xff1f…...

sa-token学习(2)

官方文档地址:sa-token sa-token学习(1) cookie & session & localStorage & sessionStorage session共享原理 文章目录 单点登录单点登录的3种模式SSO模式一 共享Cookie同步会话SSO模式二 URL重定向传播会话SSO模式三 Http请求获取会话 单点登录 单…...

春联生成模型-中文-base效果实测:输入‘平安‘、‘富贵‘,对联寓意满满

春联生成模型-中文-base效果实测:输入平安、富贵,对联寓意满满 1. 模型效果初体验 春节将至,家家户户都开始准备贴春联。传统春联创作需要深厚的文学功底,而如今AI技术让这一过程变得简单有趣。今天我们要实测的是一款基于阿里达…...

ESXI系统安装全流程解析:从U盘启动到网络配置

1. 制作ESXI启动U盘:从镜像下载到写入完成 准备一个容量至少8GB的U盘,建议使用USB3.0接口的高速U盘。我实测过多个品牌,闪迪CZ73和金士顿DTSE9在兼容性和速度上表现最好。制作启动盘前记得备份U盘数据,整个过程会清空所有内容。 首…...

FlowState Lab 模型架构可视化与核心模块解读

FlowState Lab 模型架构可视化与核心模块解读 1. 模型整体架构概览 FlowState Lab是一个专门针对复杂波动模式捕捉设计的深度学习模型。通过创新的架构设计,它在金融时间序列预测、物理系统模拟等领域展现出卓越性能。让我们先来看看它的整体架构图: 这…...

2026年揭秘!日照那些让你放心吃海鲜,绝不宰客的宝藏店铺

在旅游热门地日照,海鲜美食一直是吸引游客的一大亮点。但不少游客都曾遭遇过住宿脏乱、海鲜被宰、体验打折等问题,让原本美好的旅行变得糟心。不过,在日照有这样一家宝藏店铺——宗合渔家,能让你放心吃海鲜,享受不被宰…...

QMCDecode:打破音乐格式壁垒的解密技术实现

QMCDecode:打破音乐格式壁垒的解密技术实现 【免费下载链接】QMCDecode QQ音乐QMC格式转换为普通格式(qmcflac转flac,qmc0,qmc3转mp3, mflac,mflac0等转flac),仅支持macOS,可自动识别到QQ音乐下载目录,默认转换结果存储…...

全网疯传「.SKILL」:只要一句话,就能把任何人蒸馏成 AI,前任、老板、乔布斯。。。

不用懂代码、不用学复杂操作,只要一个SKILL,就能把任何人蒸馏成专属AI——同事、老板、前任,甚至乔布斯、张一鸣,都能被你炼入token,随叫随到陪你对话、帮你干活,实用性直接拉满!最近刷X的朋友&…...

DFRobot SEN0344血氧心率模块驱动库详解

1. 项目概述DFRobot_BloodOxygen_S 是 DFRobot 针对 SEN0344 血氧心率传感器模块(基于 MAX30102 芯片)开发的标准驱动库,属于 DFRobot_Sensor 系列统一架构下的专用传感器抽象层。该库并非直接操作 MAX30102 寄存器的底层驱动,而是…...

从欧拉角到旋转矩阵:一步步解析三维空间中的旋转转换

1. 三维旋转的起点:理解欧拉角 想象你手里拿着一个魔方,想要把它从初始状态旋转到任意方向。你会怎么做?大多数人会自然地分三步操作:先左右转动(Z轴),再上下倾斜(Y轴)&a…...