向量检索核心知识整理

一、向量基础Embedding 与维度选择1. 向量化核心流程非结构化数据 → 向量向量化是将文本、图像、音频等非结构化数据通过Embedding 模型转化为高维稠密向量的过程是向量检索的基础数据类型常用模型文本BGE、BERT、text-embedding-ada-002图像CLIP、ResNet音频Wav2Vec22. 向量维度选择原则维度越高特征越精细检索精度越高但存储、计算成本越高维度越低效率越高易丢失特征召回率下降工业常用文本 768/1536 维图像 512-2048 维二、向量检索核心原理1. 相似度计算判断向量是否相似余弦相似度最常用关注方向忽略长度适合语义检索欧氏距离空间直线距离距离越小越相似内积归一化后等价于余弦相似度2. 近似最近邻搜索ANN暴力搜索在亿级数据下耗时过长必须用近似检索牺牲极小精度换取百倍速度主流索引算法HNSW当前绝对主流、IVF、PQ各有适用场景详见后续章节。三、HNSW 索引1. 新向量插入完整步骤随机生成最大层数 L按指数分布随机level -ln(random(0,1)) * M层数越高数量越少。从 HNSW 全局最顶层开始贪婪搜索无论自身层数 L 多少一定从整个索引的最高层开始逐层向下搜索。逐层下探每层保留最优候选上一层搜索出的最优 M 个向量全部作为下一层的搜索入口继续贪婪查找更近向量。到达自身最大层数 L 后继续下探到 0 层从 L 层 → L-1 层 → … → 0 层每一层都执行贪婪搜索。每层建立双向连接新向量会在 L 层及以下所有层0~L层与相似向量建立双向关联每层最大连接数受 M 限制。第 0 层包含所有向量所有向量无论高层是否存在0 层一定存在保证精准检索兜底。2. 贪婪搜索单一层内执行逻辑以入口向量为起点加入候选集遍历候选向量的所有邻居计算与目标向量的距离保留距离最近的最优向量淘汰较远向量重复直到无法找到更近向量输出该层最优结果3. 关键特性0~L 层都存在该向量高层做快速导航底层做精准匹配平衡效率与精度双向连接保证检索时可互相到达提升召回率近似检索固有问题极端情况下可能漏检早期向量高层连接少新相似向量可能无法导航到4. 核心参数参数作用阶段含义影响结论M构建查询每个向量在每层的最大连接数越大图越密召回率越高但构建变慢、内存增加控制图密度推荐 16/32ef_construction构建索引时为新向量选择邻居时参考的候选向量数量越大图结构越优质插入越慢决定索引质量好不好ef查询检索时搜索过程中保留的候选向量数量越大召回率越高查询越慢决定查询准不准ef_construction 和 ef 不是同一个参数一个管构建一个管查询不可混用。5. 大规模数据磁盘优化亿/十亿级分层存储策略层级数据量存储方式最高几层20层以上极少几万~几十万全部放入内存无磁盘 IO中低层数据量大存入磁盘分页预读减少随机 IO0 层全量向量磁盘存储 缓存加速内存占用估算768 维FP32单向量 3KB10 万高层向量 ≈ 300MBINT8 压缩占用降至 1/410 万向量 ≈ 75MB结论高层全量放内存完全可行对服务器无压力四、IVF 索引1. 核心原理通过 k-means 聚类将高维向量空间划分为nlist个簇每个簇有一个中心向量。构建倒排索引将向量分配到最近的簇中。搜索时先找到与查询向量最近的nprobe个簇再在这些簇内检索大幅减少搜索范围。2. 关键参数参数含义建议取值影响nlist聅类中心数量[sqrt(单分片数据量)*4, sqrt(单分片数据量)*16]需满足单分片数据量 ≥ 30*nlist越大簇越精细但构建变慢nprobe搜索时选择的簇数量调大提升召回率但降低速度调小则相反直接控制速度/召回率平衡3. 优势内存占用低直接存储原始向量构建速度快聚类逻辑简单尤其适合高维向量检索结果稳定通过固定nprobe控制搜索范围一致性好4. 典型类型IVF_FLAT存储原始向量在选定簇内进行暴力搜索。召回率较高接近精确搜索但内存占用和搜索速度介于 FLAT 和 IVF_PQ 之间。五、PQ 索引1. 核心原理乘积量化Product Quantization将高维向量压缩存储。将高维向量分解为m个等长子向量每个子向量通过 k-means 聚类生成码本大小为2^nbits向量最终表示为m个码本索引大幅降低存储。搜索时通过预计算查询子向量与码本的距离表快速计算压缩向量间的近似距离。2. 关键参数参数含义约束影响m子向量数量需能整除原始向量维度 D每个子向量维度为 D/m越大压缩越精细但码本越多nbits每个子向量的编码位数通常为 8码本大小 256压缩后向量大小为 m*nbits 位3. 压缩效果示例128 维向量32 位浮点原始存储 4096 位设m64, nbits8压缩后 512 位 ——压缩 8 倍。4. 优势内存占用极低适合内存受限场景搜索速度快距离表预计算避免逐向量解压5. 典型类型IVF_PQIVF_PQ 是 IVF 与 PQ 的结合先用 IVF 将向量分到nlist个簇再对每个簇内向量进行 PQ 压缩。搜索时通过 IVF 定位nprobe个簇再用 PQ 码本快速计算近似距离平衡了速度、内存和召回率。适合亿级大规模数据、内存受限场景但召回率略低于 IVF_FLAT通常 90%-95%。六、索引选型对比索引类型适用场景内存占用搜索速度召回率HNSW通用首选百万~千万级较高极快最高IVF_FLAT高维向量构建速度优先低中较高接近精确IVF_PQ亿级数据内存受限极低快中90%-95%七、Milvus vs Elasticsearch 8.x 全面对比1. 核心定位差异Milvus专用向量数据库C 编写专为向量检索优化Elasticsearch全文检索引擎向量是附加功能基于 Lucene/Java2. 关键维度对比对比维度ElasticsearchMilvus架构模式存算一体通用搜索存算分离AI 原生索引类型有限以 HNSW 为主丰富HNSW/IVF/PQ/DiskANN水平扩展节点级扩展微服务化细粒度扩展数据规模百万至千万级向量亿级以上海量向量单次查询延迟50~200ms10~50msGPU 加速支持差完美支持可到 1~10ms向量索引优化基础 HNSW优化有限深度优化 HNSW/IVF_PQ内存效率较低GC 开销大极高全文检索能力顶级分词、模糊、聚合、高亮基础支持3. 适用场景Elasticsearch 适用场景已有搜索系统平滑升级强文本 向量混合检索需求数据规模在百万至千万级向量Milvus 适用场景超大规模 AIGC / 推荐系统极致的向量检索性能与高并发需求亿级以上海量向量场景八、大规模 RAGMilvus ES 组合方案1. 为什么不只用 MilvusMilvus 的全文检索是轻量实现不支持复杂分词、模糊查询、同义词、高亮、多条件过滤无法满足企业级文本检索需求。2. 为什么不只用 ESES 在亿级向量下查询慢、耗资源、高并发不稳定向量检索性能远不如专用数据库。3. 最佳分工工业标准方案Milvus 负责高精准、高速度向量语义检索Elasticsearch 负责全文关键词检索、过滤、高亮、聚合、复杂文本匹配RAG 流程ES 文本精准过滤 → Milvus 向量语义召回 → 结果融合重排4. 核心优势兼顾语义理解与文本精准度性能与稳定性拉满企业级大规模 RAG 唯一成熟方案总结要点HNSW 是当前向量检索绝对主流插入从顶层开始、0~L 层全存在、每层双向连接ef_construction构建与 ef查询是完全不同的参数不可混用IVF 通过聚类缩减搜索范围PQ 通过量化压缩存储IVF_PQ 结合两者平衡速度/内存/召回率高层全放内存、底层存磁盘是 HNSW 应对亿级数据的核心优化Milvus 专攻向量ES 专攻文本二者组合是大规模 RAG 系统的工业标准方案