向量相似度计算原理解析

向量相似度怎么算一文讲透在今天的 AI 世界里「向量」成了我们理解语义、匹配兴趣、检索信息的核心工具。不理解这个就不能称之为合格的AI工程师。但问题来了两个向量到底有多像这可不是靠肉眼比划能解决的——我们需要一套靠谱的“相似度打分系统”。这次我们就来聊聊最常用的几种向量相似度判断方法尤其聚焦于两类主流场景浮点稠密向量比如 BERT 嵌入用 L2、IP、余弦稀疏向量比如 TF-IDF、关键词集合用 IP 和 BM25咱们不整那些云里雾里的数学黑话而是用大白话类比代码让你真正搞明白它们的区别和适用场景。一、浮点向量三大金刚L2、IP、余弦假设你有两个高维向量A和B比如是两篇文档经 Sentence-BERT 编码后的 768 维嵌入。怎么判断它们像不像1. L2 距离欧几里得距离——“直线距离派”公式L2(A,B)∑i1n(Ai−Bi)2 \text{L2}(A, B) \sqrt{\sum_{i1}^n (A_i - B_i)^2}L2(A,B)i1∑n​(Ai​−Bi​)2​通俗解释想象你在城市里走路A 和 B 是两个坐标点。L2 就是你掏出无人机直接飞过去测的“直线距离”。越近越像越远越不像。特点考虑了方向 大小模长对特征尺度敏感比如一个维度是年龄[0-100]另一个是收入[0-1e6]收入会主导结果高维下容易“大家都差不多远”维度灾难适用场景图像特征匹配、低维用户画像聚类如 K-Means。importnumpyasnp Anp.array([1.0,2.0,3.0])Bnp.array([1.1,2.1,3.1])l2_distnp.linalg.norm(A-B)print(L2距离:,l2_dist)# 越小越相似⚠️ 注意如果不用标准化如 StandardScalerL2 很容易被某些大数值维度“带偏节奏”。2. 内积IP, Inner Product——“对齐强度派”公式IP(A,B)A⋅B∑i1nAi×Bi \text{IP}(A, B) A \cdot B \sum_{i1}^n A_i \times B_iIP(A,B)A⋅Bi1∑n​Ai​×Bi​通俗解释IP 不关心你俩站多远只看你俩“是不是朝着同一个方向使劲”。比如用户喜欢科幻向量方向电影也是纯科幻同方向哪怕一个向量很长重度用户、一个很短冷门片只要方向一致IP 就高特点只看方向 各自强度不强制归一化计算快只有乘加无开方如果向量已归一化L2 norm 1IP 就等于余弦相似度适用场景推荐系统用户×物品匹配、未归一化的嵌入向量召回。ip_scorenp.dot(A,B)print(内积得分:,ip_score)# 越大越相似 工业级推荐系统最爱 IP因为1符合“偏好投影”直觉2计算快适合亿级召回。3. 余弦相似度Cosine Similarity——“纯方向派”公式cos⁡(θ)A⋅B∣A∣2⋅∣B∣2 \cos(\theta) \frac{A \cdot B}{|A|_2 \cdot |B|_2}cos(θ)∣A∣2​⋅∣B∣2​A⋅B​通俗解释把 A 和 B 都“缩”成单位长度就像把不同长短的手电筒光束都调成一样亮然后看它们照的方向夹角多大。夹角越小余弦越接近 1越像。特点完全忽略向量长度只比方向结果在 [-1, 1]通常文本场景中为 [0, 1]特别适合高维稀疏或长度差异大的场景比如一篇长论文 vs 一条短评论适用场景文本语义搜索、文档去重、NLP 嵌入比较。fromsklearn.metrics.pairwiseimportcosine_similarity cos_simcosine_similarity([A],[B])[0][0]print(余弦相似度:,cos_sim)# 越接近1越相似✅ 小技巧如果你用 FAISS 或 Milvus把向量先normalize_L2()再用 IP 索引效果 余弦但速度更快二、稀疏向量IP 和 BM25 的天下当向量不是稠密浮点数而是像 TF-IDF 那样——大部分是 0少数维度有值比如词频就得换思路了。1. 稀疏向量的 IP内积其实和上面一样还是A·B。但因为稀疏大量 0 相乘自动跳过计算效率极高。比如doc1 [0, 0.5, 0, 0.8, 0]含“AI”和“模型”doc2 [0, 0.4, 0, 0.7, 0]IP 0.5*0.4 0.8*0.7 0.76直接反映共同关键词的加权重合度。优势天然适配稀疏结构快且有效。2. BM25 —— 搜索引擎的老炮儿BM25 不是向量运算而是一种基于词频的排序函数专为信息检索设计。核心思想一个词在查询中出现 → 加分该词在文档中出现次数多 → 加分但有饱和效应避免堆词作弊该词在整个语料库中太常见如“的”、“是”→ 降权文档越长 → 适当惩罚避免长文天然占优为什么比 TF-IDF 余弦更优因为 BM25 考虑了文档长度归一化和词频饱和更适合搜索排序。使用示例用 rank_bm25 库fromrank_bm25importBM25Okapi corpus[人工智能是未来的趋势,机器学习需要大量数据,今天的天气真好]tokenized_corpus[doc.split()fordocincorpus]bm25BM25Okapi(tokenized_corpus)query人工智能 数据tokenized_queryquery.split()scoresbm25.get_scores(tokenized_query)print(BM25得分:,scores)# 越高越相关 场景建议做关键词搜索、电商商品召回、传统搜索引擎——优先考虑 BM25。三、怎么选一张表说清楚方法是否考虑长度适合数据类型典型场景相似性判断L2✅稠密浮点图像、低维聚类距离越小越相似IP✅隐式稠密 or 稀疏推荐系统、向量召回分数越大越相似余弦❌稠密常归一化文本语义、NLP越接近1越相似BM25N/A文本关键词搜索引擎、关键词匹配分数越高越相关结语要物理距离用 L2记得标准化要兴趣对齐用 IP推荐系统首选要语义方向用余弦文本标配要关键词匹配上 BM25搜索老将记住没有“最好”的指标只有“最合适”的选择。理解你的数据、你的业务、你的向量是怎么来的比死记公式重要一百倍下次你在 Milvus 里建索引时看到metric_typeIP还是COSINE就不会再懵了——因为你已经是个懂行的“向量侦探”了