面试题：文本表示方法详解——One-hot、Word2Vec、上下文表示、BERT词向量全解析（NLP基础高频考点）

1. 为什么面试官总爱问“文本表示方法”1.1 这个问题的本质是什么任何 NLP 系统不管是情感分析、文本分类、搜索推荐、智能客服还是今天的大模型应用本质上都绕不开一个前提机器并不真正认识“文字”它最终只能处理数字。所以所谓“文本表示方法”就是把人类语言转成机器可以计算的数值形式。面试官问这个问题通常不是只想听你背几个名词而是想看你是否理解一条完整演进路线最早我们如何把词“编号”后来又是怎样让向量带上“语义”再后来为什么还要引入“上下文相关表示”。如果你把这条主线答清楚面试表现就会很稳。2. 先搞懂什么叫“文本表示”2.1 用一句人话解释文本表示就是把“字、词、句子、段落”变成向量。这个向量最好既能让机器算得动又尽量保留文本的有用信息。如果表示得太简单比如只是给每个词排个号机器虽然能识别“这是哪个词”却不懂“这个词和别的词像不像”如果表示得太高级比如能根据上下文动态理解词义那机器的理解能力就更强但代价也更高。2.2 两类基本思路离散表示 vs 稠密表示• 离散表示典型是 One-hot、BoW、TF-IDF。优点是简单、可解释缺点是难以表达深层语义。• 稠密表示典型是 Word2Vec、FastText、GloVe以及后来的 ELMo、BERT。优点是低维、紧凑能表达语义关系。3. One-hot 编码最基础也最容易被追问的方法3.1 One-hot 到底是什么One-hot 可以理解成“给每个词安排一个唯一座位”。如果词表里有 10000 个词那么每个词都会对应一个长度为 10000 的向量。这个向量里只有一个位置是 1其余全部是 0。哪个位置是 1就表示它是谁。例如词表里“人工智能”的编号是 0“机器学习”的编号是 1那么“人工智能”的向量就是 [1,0,0,0,...]“机器学习”的向量就是 [0,1,0,0,...]。3.2 它的优点是什么第一简单第二无需训练第三身份表达准确。对于非常小规模、非常基础的场景One-hot 依然有解释和教学价值。3.3 它的缺点为什么面试一定要说One-hot 最大的问题有四个维度太高、向量太稀疏、没有语义信息、难以处理未登录词。比如“猫”和“狗”在语义上很相近但在 One-hot 空间里它们彼此一样远因为两者只是不同位置上的 1并没有“接近”这一说。所以One-hot 适合作为“最初级表示法”来理解但通常不会作为现代 NLP 的核心表示方式。4. 词袋模型与 TF-IDF传统 NLP 时代的实用派4.1 什么是词袋模型Bag of Words词袋模型不再只表示“某个词是谁”而是把整段文本表示成“每个词出现了几次”。也就是说它关心“词频”但不关心“词序”。举个例子“我 喜欢 机器学习”和“机器学习 我 喜欢”在词袋模型里几乎一样因为它们包含的词及出现次数差不多。4.2 TF-IDF 又比词袋模型聪明在哪TF-IDF 在词袋模型的基础上进一步考虑“区分度”。有些词在当前文本里出现很多次但在所有文本里也都经常出现比如“的”“是”“我们”这种词通常没有太大辨别力应该降权。反过来如果一个词在当前文档里很重要但在其他文档里并不常见它就应该被赋予更高权重。4.3 它们适合什么场景TF-IDF 直到今天在很多检索、关键词提取、传统文本分类场景里仍然有价值原因很简单实现成本低、可解释性强、对小数据也比较友好。4.4 它们的短板在哪里最大的短板是它们仍然看不懂语义也看不懂上下文。它们不知道“手机”和“移动电话”相近也不知道“苹果”在不同句子里可能是水果也可能是品牌。5. Word2Vec让词向量开始“带语义”5.1 Word2Vec 的核心思想是什么Word2Vec 的核心思想可以概括为一句经典人话一个词的意思往往体现在它经常和哪些词一起出现。也就是说模型通过观察海量语料中的共现关系学习每个词的向量表示。如果两个词经常出现在相似上下文中比如“苹果”“梨”“橙子”那么它们学到的向量就会比较接近如果语义差别很大比如“苹果”和“猫”向量距离通常就更远。5.2 为什么说它比 One-hot 进步很大因为 Word2Vec 学到的是低维、稠密、可训练的向量。它不再只是“给词编号”而是让向量本身携带语义信息。所以向量之间的距离、相似度、方向都开始有实际意义。5.3 Word2Vec 的两种经典模型CBOW 和 Skip-GramCBOW 和 Skip-Gram 是面试里一定会被问到的两种结构。• CBOW给定上下文词预测中心词。它像“完形填空”。例如我 / 喜欢 / ___ / 机器 / 学习让模型去猜中间缺的词。• Skip-Gram给定中心词预测它周围的上下文词。它像“从一个词出发反推它通常会和谁一起出现”。通常来说CBOW 训练更快对高频词表现不错Skip-Gram 往往对低频词更友好学习语义关系也常常更好一些。5.4 Word2Vec 的优缺点它的优点是能表达语义、维度较低、工业界曾大量使用。缺点也很明显同一个词只有一个固定向量所以对多义词处理能力有限另外对未登录词也不够友好。5.5 FastText 为什么常被一起提到FastText 可以理解为 Word2Vec 的一个重要升级版。它不只看整个词还把词拆成字符 n-gram 来学习因此在处理新词、错拼词、形态变化词时更有优势。比如在中文里它对一些组合词、行业词、长尾词通常更友好。6. 上下文相关表示为什么现代 NLP 还要继续升级6.1 静态词向量的问题到底出在哪不管是 Word2Vec、GloVe 还是 FastText本质上都属于静态词向量一个词训练完成后就对应一个固定向量。可现实语言不是这样。很多词是多义的它们在不同上下文里的含义会变化。比如“银行”在“我去银行办理贷款”里是金融机构在其他特殊语境里它可能需要结合上下文重新理解。如果始终只给它一个固定向量模型就很难准确区分。6.2 什么叫“上下文相关表示”上下文相关表示的核心是同一个词在不同句子里应该生成不同的向量。这类思想在 ELMo、BERT 以及后续一大批预训练语言模型中被广泛采用。6.3 可以怎么通俗理解 BERT 这一类模型你可以把 BERT 理解成一个特别擅长“阅读上下文”的模型。它不是先孤立地看一个词而是把这个词放进整句话里同时参考左边和右边的信息再生成该词的表示。所以它更容易理解句子层面的语义关系。6.4 为什么这种表示方式更强因为很多 NLP 任务本质上不是识别“这个词通常是什么意思”而是识别“这个词在当前这句话里是什么意思”。尤其是在问答、信息抽取、检索排序、情感分析等任务中语境往往决定结果。7. 从“词表示”到“句子表示”和“文档表示”7.1 为什么只会词向量还不够很多业务任务的输入并不是单个词而是一整句话、一个问题、甚至一篇长文。因此除了词表示我们还需要句向量和文档向量。7.2 常见的句子/文档表示思路• 平均池化把一句话里所有词向量做平均简单但粗糙。• 加权平均常见做法是结合 TF-IDF 权重。• Doc2Vec较早期的文档向量方法。• BERT / Sentence-BERT直接为句子或文本段生成更强的语义表示适合检索、匹配、聚类等任务。在现代项目里尤其是检索增强生成RAG、语义搜索、FAQ 匹配等场景句向量或段落向量的作用非常关键。8. 面试高频追问建议这样回答8.1 One-hot 有什么缺点标准回答可以概括成四点高维、稀疏、无法表达语义关系、难处理未登录词。8.2 Word2Vec 的两种模型是什么CBOW 和 Skip-Gram。CBOW 用上下文预测中心词训练快Skip-Gram 用中心词预测上下文对低频词更友好。8.3 上下文相关表示与静态词向量有什么区别静态词向量给每个词一个固定表示上下文相关表示会根据句子语境动态生成词向量因此更适合处理多义词和复杂语义。8.4 遇到 OOV未登录词怎么办可以通过子词建模、字符级表示、FastText、BPE/WordPiece 等方式缓解在现代预训练模型里这类问题已经比早期词向量时代改善很多。8.5 项目里应该怎么选如果追求简单可解释、数据量不大可以先考虑 TF-IDF如果要做相似词、传统语义表示可以用 Word2Vec / FastText如果任务对语义理解要求高通常优先考虑 BERT 类上下文表示。真正落地时还要同时考虑训练成本、推理成本、数据规模和时延要求。9. 总结把“文本表示方法”答完整关键在于讲清楚演进逻辑如果把这道面试题浓缩成一句话那就是文本表示方法经历了从离散表示到分布式表示再到上下文相关表示的演进。最开始的 One-hot 解决的是“词怎么编码”的问题BoW 和 TF-IDF 解决的是“文本怎么统计”的问题Word2Vec 解决的是“词怎么拥有语义”的问题而 ELMo、BERT 这一类上下文表示解决的是“同一个词在不同句子里如何正确理解”的问题。所以真正高质量的面试回答不是孤立地背定义而是把这条升级路线讲清楚再顺手补一句各自的优缺点和适用场景。这样既显得基础扎实也显得理解到位。附30 秒面试快答模板“文本表示方法就是把文本转成机器可计算的向量表示。早期有 One-hot、BoW、TF-IDF这类方法简单、可解释但维度高、稀疏而且缺少语义。后来有 Word2Vec、FastText 这类分布式词向量能把语义相近的词映射到相近向量。再往后是 ELMo、BERT 这类上下文相关表示它们能根据语境动态生成词向量更适合处理多义词和复杂语义任务。项目里怎么选要看成本、数据量和任务精度要求。”