当前位置: 首页 > article >正文

MongoDB索引优化实战:让查询飞起来

写在前面索引是数据库查询性能的关键MongoDB提供了丰富的索引类型来满足不同场景的需求。本篇将详细介绍MongoDB索引的创建、使用、管理和优化技巧帮助您打造高效的MongoDB查询。文章目录一、索引基础概念1.1 什么是索引1.2 索引结构1.3 索引类型二、单字段索引2.1 创建单字段索引2.2 查看索引2.3 删除索引三、复合索引3.1 创建复合索引3.2 复合索引原理3.3 最左前缀原则3.4 索引顺序选择四、多键索引4.1 数组字段索引4.2 嵌套数组索引五、文本索引5.1 创建文本索引5.2 文本搜索5.3 文本搜索排序六、唯一索引6.1 创建唯一索引6.2 唯一索引与稀疏索引七、地理空间索引7.1 创建地理空间索引7.2 地理位置查询八、索引管理8.1 查看索引统计8.2 重建索引8.3 索引属性九、查询分析与优化9.1 使用 explain9.2 性能指标解读9.3 慢查询日志十、实战百万级数据优化10.1 创建测试数据10.2 优化前后对比10.3 索引设计原则十一、总结一、索引基础概念1.1 什么是索引 索引概念 索引就像书籍的目录 可以快速定位到需要的内容 而不需要逐页翻找。 无索引全表扫描 → 慢 有索引直接定位 → 快1.2 索引结构 B-Tree索引结构 [中间节点] / | \ [叶子节点1] [叶子节点2] [叶子节点3] ↓ ↓ ↓ 数据页 数据页 数据页 特点 - 平衡树结构查询复杂度 O(log n) - 叶子节点按顺序存储 - 支持范围查询和排序1.3 索引类型️ MongoDB索引类型 1. 单字段索引 - 最常用 2. 复合索引 - 多字段组合 3. 多键索引 - 数组字段 4. 文本索引 - 全文搜索 5. 哈希索引 - 等值查询 6. 地理空间索引 - 位置查询 7. 唯一索引 - 约束 8. 稀疏索引 - 稀疏字段二、单字段索引2.1 创建单字段索引// 为 age 字段创建索引db.users.createIndex({age:1})// 1 表示升序-1 表示降序db.users.createIndex({age:-1})// 为嵌套字段创建索引db.orders.createIndex({customer.address.city:1})// 指定索引名称db.users.createIndex({age:1},{name:idx_user_age})2.2 查看索引// 查看集合的所有索引db.users.getIndexes()// 返回结果示例[{v:2,key:{_id:1},name:_id_},{v:2,key:{age:1},name:age_1}]2.3 删除索引// 根据索引名称删除db.users.dropIndex(age_1)// 根据索引键删除db.users.dropIndex({age:1})// 删除所有非默认索引db.users.dropIndexes()// 注意不能删除 _id 索引三、复合索引3.1 创建复合索引// 为 users 集合创建复合索引先按 city 排序再按 age 排序db.users.createIndex({city:1,age:-1})// 索引顺序city(升序) age(降序)3.2 复合索引原理 复合索引工作原理 假设索引{ city: 1, age: -1 } 数据示例 { city: 北京, age: 25 } { city: 北京, age: 30 } { city: 上海, age: 20 } { city: 上海, age: 28 } { city: 深圳, age: 25 } 索引存储顺序 1. 北京-30 2. 北京-25 3. 深圳-25 4. 上海-28 5. 上海-203.3 最左前缀原则 最左前缀原则 复合索引 { city: 1, age: -1 } 可以支持 ✅ { city: 北京 } - 完全使用 ✅ { city: 北京, age: 25 } - 完全使用 ✅ { city: 北京, age: { $gt: 20 } } - 完全使用 ❌ { age: 25 } - 无法使用 ❌ { age: { $gt: 20 } } - 无法使用 ⚠️ { age: { $gt: 20 }, city: 北京 } - 可以使用MongoDB会自动优化3.4 索引顺序选择// 场景经常查询某个城市的用户按年龄排序// 方案1city在前db.users.createIndex({city:1,age:-1})// 查询db.users.find({city:北京}).sort({age:-1})// ✅ 使用索引db.users.find({city:北京})// ✅ 使用索引db.users.find({age:{$gt:20}})// ❌ 不使用索引// 方案2age在前db.users.createIndex({age:-1,city:1})// 查询db.users.find({age:{$gt:20}})// ✅ 使用索引db.users.find({age:{$gt:20}}).sort({city:1})// ✅ 使用索引db.users.find({city:北京})// ❌ 不使用索引四、多键索引4.1 数组字段索引// 为数组字段创建索引db.products.createIndex({tags:1})// 插入测试数据db.products.insertMany([{name:iPhone,tags:[手机,电子产品,苹果]},{name:MacBook,tags:[电脑,电子产品,苹果]},{name:小米手机,tags:[手机,电子产品,国产]}])// 查询使用索引db.products.find({tags:手机})// ✅ 使用多键索引4.2 嵌套数组索引// 订单中包含items数组每个item有product字段db.orders.insertMany([{orderId:O001,items:[{product:iPhone,quantity:1},{product:AirPods,quantity:2}]},{orderId:O002,items:[{product:MacBook,quantity:1}]}])// 为嵌套数组字段创建索引db.orders.createIndex({items.product:1})// 查询db.orders.find({items.product:iPhone})// ✅ 使用索引五、文本索引5.1 创建文本索引// 为文章标题和内容创建文本索引db.articles.createIndex({title:text,content:text})// 或者指定权重db.articles.createIndex({title:text,content:text},{weights:{title:10,content:1}})// 单一字段文本索引db.products.createIndex({description:text})5.2 文本搜索// 插入测试数据db.articles.insertMany([{title:MongoDB入门教程,content:学习MongoDB基础},{title:Redis缓存实战,content:Redis高性能缓存},{title:MongoDB索引优化,content:MongoDB查询优化技巧}])// 文本搜索db.articles.find({$text:{$search:MongoDB}})// 搜索多个词ORdb.articles.find({$text:{$search:MongoDB 教程}})// 搜索短语ANDdb.articles.find({$text:{$search:\MongoDB 入门\}})// 排除某个词db.articles.find({$text:{$search:MongoDB -Redis}})5.3 文本搜索排序// 按相关性排序db.articles.find({$text:{$search:MongoDB}},{score:{$meta:textScore}}).sort({score:{$meta:textScore}})// 结果会按相关性得分排序六、唯一索引6.1 创建唯一索引// 为邮箱创建唯一索引db.users.createIndex({email:1},{unique:true})// 复合唯一索引db.users.createIndex({email:1,status:1},{unique:true})// 尝试插入重复邮箱会报错db.users.insertOne({email:testexample.com})// Error: E11000 duplicate key error6.2 唯一索引与稀疏索引// 稀疏索引只索引非空值db.users.createIndex({phone:1},{unique:true,sparse:true})// 场景phone字段不是必须的但如果有值必须唯一// sparse: true 表示不索引 null 或不存在的字段七、地理空间索引7.1 创建地理空间索引// 2dsphere 索引用于地球表面的坐标db.stores.createIndex({location:2dsphere})// 2d 索引用于平面坐标db.points.createIndex({location:2d})7.2 地理位置查询// 插入带地理位置的店铺数据db.stores.insertMany([{name:店铺A,location:{type:Point,coordinates:[116.4074,39.9042]}// 北京},{name:店铺B,location:{type:Point,coordinates:[121.4737,31.2304]}// 上海},{name:店铺C,location:{type:Point,coordinates:[114.0579,22.5431]}// 深圳}])// 查询附近1km内的店铺db.stores.find({location:{$near:{$geometry:{type:Point,coordinates:[116.4074,39.9042]},$maxDistance:1000// 1000米}}})八、索引管理8.1 查看索引统计// 查看集合索引信息db.users.getIndexStats()// 查看索引大小db.users.stats().indexSizes8.2 重建索引// 重建集合的所有索引db.users.reIndex()// 效果删除并重新创建所有索引// 适用于数据大量删除后索引文件过大8.3 索引属性// 创建带属性的索引db.users.createIndex({email:1},{unique:true,// 唯一索引sparse:true,// 稀疏索引expireAfterSeconds:3600,// TTL索引3600秒后自动删除background:true// 后台创建不阻塞业务})九、查询分析与优化9.1 使用 explain// 分析查询计划db.users.find({age:{$gt:25},city:北京}).explain(executionStats)// 返回结果关键字段{queryPlanner:{plannerVersion:1,namespace:myapp.users,indexFilterSet:false,winningPlan:{stage:FETCH,inputStage:{stage:IXSCAN,// 使用索引扫描indexName:age_1_city_1,...}}},executionStats:{executionTimeMillis:2,// 执行时间毫秒totalDocsExamined:100,// 扫描的文档数totalKeysExamined:50,// 扫描的索引键数nReturned:10// 返回的文档数}}9.2 性能指标解读 性能分析指标 ✅ 好的查询 - stage: IXSCAN - 使用索引 - totalDocsExamined: 10 - totalKeysExamined: 10 - executionTimeMillis: 1 ❌ 差的查询 - stage: COLLSCAN - 全表扫描 - totalDocsExamined: 1000000 - executionTimeMillis: 50009.3 慢查询日志// 查看慢查询默认 100msdb.system.profile.find().pretty()// 设置慢查询阈值毫秒db.setProfilingLevel(1,100)// 记录超过100ms的查询// 查看当前配置db.getProfilingStatus()十、实战百万级数据优化10.1 创建测试数据// 插入100万条测试数据constbulk[];for(leti0;i1000000;i){bulk.push({userId:i,username:useri,age:Math.floor(Math.random()*100),city:[北京,上海,深圳,广州][Math.floor(Math.random()*4)],status:[active,inactive][Math.floor(Math.random()*2)],createdAt:newDate()});// 每1000条插入一次if(bulk.length1000){db.users.insertMany(bulk);bulk[];}}10.2 优化前后对比// ❌ 优化前无索引查询慢db.users.find({city:北京,age:{$gt:25}}).explain(executionStats)// 结果COLLSCAN扫描100万条耗时 2000ms// ✅ 优化后创建复合索引db.users.createIndex({city:1,age:1})// 再次查询db.users.find({city:北京,age:{$gt:25}}).explain(executionStats)// 结果IXSCAN扫描1000条耗时 5ms10.3 索引设计原则 索引设计最佳实践 1. 优先为 WHERE 子句中的字段创建索引 2. 考虑查询的选择性 - 选择性高的字段放前面 - 尽量使用唯一索引 3. 避免创建过多索引 - 每个索引都会占用空间 - 写入时需要维护所有索引 4. 使用复合索引替代多个单字段索引 - 减少索引数量 - 利用最左前缀原则 5. 定期检查并删除无用索引 - db.users.getIndexes() 查看 - dropIndex() 删除十一、总结 本篇总结 ✅ 掌握内容 - 索引基础概念和类型 - 单字段索引创建和使用 - 复合索引与最左前缀原则 - 多键索引数组字段 - 文本索引全文搜索 - 唯一索引与稀疏索引 - 地理空间索引 - 索引管理与属性 - 查询分析与优化 - 百万级数据优化实战作者刘~浪地球更新时间2026-05-07本文声明原创不易转载需授权

相关文章:

MongoDB索引优化实战:让查询飞起来

写在前面:索引是数据库查询性能的关键,MongoDB提供了丰富的索引类型来满足不同场景的需求。本篇将详细介绍MongoDB索引的创建、使用、管理和优化技巧,帮助您打造高效的MongoDB查询。 文章目录一、索引基础概念1.1 什么是索引?1.2 …...

CANN Qwen Dense推理优化

基于Atlas A2/A3的Qwen Dense模型推理性能优化实践 【免费下载链接】cann-recipes-infer 本项目针对LLM与多模态模型推理业务中的典型模型、加速算法,提供基于CANN平台的优化样例 项目地址: https://gitcode.com/cann/cann-recipes-infer 概述 本文主要介绍…...

ExGRPO框架:强化学习中的动态经验重放优化

1. ExGRPO框架解析:平衡探索与经验重放的强化学习新范式在强化学习领域,样本效率一直是制约算法性能的关键瓶颈。特别是在大语言模型(LLM)的强化学习微调(RLHF)场景中,每个样本的获取成本可能高…...

在Taotoken控制台中管理API密钥并设置访问控制策略

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 在Taotoken控制台中管理API密钥并设置访问控制策略 对于团队管理员或项目负责人而言,统一、安全地管理大模型API访问权…...

FFmpeg视频批量裁剪:从原理到Python自动化实现

1. 项目概述与核心价值最近在整理一批视频素材时,遇到了一个挺典型的场景:我需要把一段16:9的横屏视频,快速裁剪成9:16的竖屏版本,用于短视频平台发布。手动用桌面软件打开、设置裁剪区域、导出,一两个视频还行&#x…...

CANN/opbase快速入门指南

快速入门 【免费下载链接】opbase 本项目是CANN算子库的基础框架库,为算子提供公共依赖文件和基础调度能力。 项目地址: https://gitcode.com/cann/opbase 快速体验项目前,请参考本项目README完成环境准备和源码下载,此处不再赘述。 …...

通过Taotoken CLI工具一键配置团队开发环境中的大模型接入点

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 通过Taotoken CLI工具一键配置团队开发环境中的大模型接入点 当团队开始将大模型能力集成到开发流程中时,一个常见的挑…...

R语言决策树非线性回归建模与优化实战

1. 决策树在R语言中的非线性回归实战作为一名长期使用R语言进行数据建模的分析师,我发现在处理复杂非线性关系时,决策树往往能提供传统线性方法无法比拟的灵活性。今天就来分享如何用R中的决策树算法实现非线性回归任务,以及我在实际项目中积…...

XUnity.AutoTranslator终极教程:如何为Unity游戏实现实时自动翻译

XUnity.AutoTranslator终极教程:如何为Unity游戏实现实时自动翻译 【免费下载链接】XUnity.AutoTranslator 项目地址: https://gitcode.com/gh_mirrors/xu/XUnity.AutoTranslator 你是否曾经因为语言障碍而无法畅玩心爱的日系RPG或欧美独立游戏?…...

Arm架构PFDI接口:硬件故障检测与固件完整性检查

1. PFDI接口架构解析PFDI(Platform Fault Detection Interface)是Arm架构中一套标准化的硬件故障检测接口规范,它为系统软件(如操作系统或Hypervisor)提供了访问底层硬件测试能力的统一方法。这套接口运行在EL3特权级&…...

生成式AI早期采纳研究:教育是弥合数字鸿沟的关键

1. 项目概述:当生成式AI撞上旧有的社会断层线ChatGPT横空出世那会儿,我和很多圈内朋友一样,兴奋地讨论着这个“新玩具”能怎么改变我们的工作流。写代码、做策划、处理文档,效率肉眼可见地提升。但很快,一个更现实、也…...

CANN/pyasc图像加载API

asc.language.basic.load_image_to_local 【免费下载链接】pyasc 本项目为Python用户提供算子编程接口,支持在昇腾AI处理器上加速计算,接口与Ascend C一一对应并遵守Python原生语法。 项目地址: https://gitcode.com/cann/pyasc asc.language.bas…...

Voxtral-4B-TTS-2603部署案例:AI初创公司构建语音内容工厂,日均生成5000+分钟语音

Voxtral-4B-TTS-2603部署案例:AI初创公司构建语音内容工厂,日均生成5000分钟语音 1. 项目背景与挑战 一家专注于AI语音技术的初创公司面临着一个典型的生产力瓶颈:他们的客户需要大量高质量的语音内容用于教育、营销和客服场景,…...

教育AI信任构建:以透明度与可解释性化解多利益相关者冲突

1. 项目概述:当AI走进课堂,我们到底在担心什么?最近几年,教育领域里关于AI的讨论热度一直没降下来。从最初的智能题库、自适应学习系统,到如今能批改作文、模拟对话的生成式AI,技术迭代的速度远超我们的想象…...

CANN/cann-bench 分组矩阵乘量化融合算子评测

GroupedMatmulSwigluQuant 算子 API 描述 【免费下载链接】cann-bench 评测AI在处理CANN领域代码任务的能力,涵盖算子生成、算子优化等领域,支撑模型选型、训练效果评估,统一量化评估标准,识别Agent能力短板,构建CANN领…...

开箱即用!Gemma-3-12B-IT WebUI一键部署与使用指南

开箱即用!Gemma-3-12B-IT WebUI一键部署与使用指南 1. 项目概述 Gemma-3-12B-IT是Google最新推出的第三代开源大语言模型,相比前两代在推理能力、多语言支持和运行效率上都有显著提升。这个120亿参数的模型在性能和部署成本间取得了良好平衡&#xff0…...

零代码体验Meta-Llama-3-8B-Instruct:快速搭建对话界面

零代码体验Meta-Llama-3-8B-Instruct:快速搭建对话界面 1. 引言 你是否曾经想体验最新的大语言模型,却被复杂的部署流程和代码要求劝退?今天,我将带你通过一个预置镜像,零代码快速搭建Meta-Llama-3-8B-Instruct的对话…...

低资源语言AI写作助手:数据质量与微调策略的工程实践

1. 项目概述:当AI遇见濒危语言在自然语言处理(NLP)领域,我们常常谈论的是如何用海量数据训练出更强大的模型。但当我们将目光投向全球数千种使用人数稀少的低资源语言,尤其是那些面临传承危机的濒危语言时,…...

Phi-4-mini-reasoning 3.8B 网络协议分析助手:智能化解读与故障模拟

Phi-4-mini-reasoning 3.8B 网络协议分析助手:智能化解读与故障模拟 1. 网络协议分析的智能革命 网络工程师的日常工作总是伴随着海量的数据包和复杂的协议分析。传统工具虽然功能强大,但学习曲线陡峭,新手往往需要花费数月时间才能熟练使用…...

华为CANN/hcomm内存注册API

HcommMemReg 【免费下载链接】hcomm HCOMM(Huawei Communication)是HCCL的通信基础库,提供通信域以及通信资源的管理能力。 项目地址: https://gitcode.com/cann/hcomm 产品支持情况 Ascend 950PR/Ascend 950DT:支持Atlas…...

OpenClaw文件访问控制插件:构建AI代理安全防护层

1. 项目概述:为OpenClaw构建文件访问控制层 如果你正在运行一个多用户的OpenClaw智能体,尤其是在Slack、Discord这类团队协作平台上,一个核心的安全隐患会立刻浮现:聊天室里的任何一个人,都可以直接要求AI去修改你的技…...

数据要素化与资产化:个人和企业的数据如何产生价值?

——软件测试从业者的专业视角在软件测试领域深耕多年,我们曾将测试数据简单视作“用例的输入”,一种用完即弃的消耗品。然而,当“数据”被提升至与土地、劳动力、资本、技术并列的第五大生产要素时,一个全新的价值坐标系正在展开…...

硬件补贴、软件盈利:互联网商业模式的再次轮回?——从软件测试视角看生态闭环与质量博弈

一、轮回的轮廓:当硬件变成“管道”,软件成为“水龙头”“硬件补贴、软件盈利”并不是一个新鲜命题。早在十多年前,电信运营商就曾用“存话费送手机”开启了终端补贴的浪潮,随后互联网电视、智能音箱、网约车硬件(如车…...

Pandas数据分析避坑指南:用Hampel Filter优雅处理金融时间序列里的‘毛刺’

Pandas数据分析避坑指南:用Hampel Filter优雅处理金融时间序列里的‘毛刺’ 金融数据分析师们每天都要面对海量的市场数据,但真正让人头疼的往往不是数据的规模,而是那些隐藏在时间序列中的"小刺"——那些突如其来的价格毛刺&#…...

CANN/amct压缩概念详解

压缩概念 【免费下载链接】amct AMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。 项目地址: https://gitcode.com/cann/amct 本节给出模型压缩过程中用到的概念,并介绍了不同压缩方法的原理。 量化 量化是指对模型的权重(weight&#xff0…...

我们团队引入AI测试后,测试人员从10人缩减到3人

“我们团队引入AI测试后,测试人员从10人缩减到3人。”这句话,在2026年的今天,已不再是科幻小说的情节,也不是某个技术峰会上遥远的预言,而是切切实实发生在我们身边、令无数软件测试从业者深夜辗转反侧的行业现实。它像…...

数据科学实战:从替代数据获取到处理的全流程工具与资源指南

1. 项目概述:一份数据科学家的“藏宝图”在数据科学、机器学习和人工智能的世界里,模型和算法是引擎,而高质量的数据就是驱动引擎的燃料。无论你是想训练一个能识别猫狗的卷积神经网络,还是构建一个预测股票走势的时间序列模型&am…...

别只编译VLC-Qt了!搞定libvlc依赖和插件路径,才是麒麟/UOS下播放流畅的关键

麒麟/UOS系统下VLC-Qt深度优化:从依赖解析到插件部署实战指南 在国产操作系统生态中构建多媒体应用时,VLC-Qt作为连接Qt框架与libVLC核心的桥梁,其稳定性直接影响播放体验。许多开发者完成基础编译后,常遭遇黑屏、解码失败或功能残…...

AEC行业AI与机器人应用中的四大核心伦理挑战与应对策略

1. 项目概述:当AI与机器人走进建筑工地如果你在建筑、工程或施工(AEC)行业待过几年,就会对现场那种“按下葫芦浮起瓢”的混乱感深有体会。图纸改了又改,材料堆得到处都是,工人师傅们顶着安全帽在钢筋水泥的…...

区块链与AI构建反性勒索平台:SocialDAO的技术架构与伦理实践

1. 项目概述:当技术成为守护者最近几年,一个令人不安的词汇在网络上蔓延——“性勒索”。它不再是电影里的情节,而是真实发生在许多人身上的噩梦。攻击者通过非法获取的私密影像或信息,对受害者进行敲诈勒索,其造成的心…...