大模型面试必备：模型训练与微调 15 问全解析

导读2026 年大模型已从尝鲜走向落地。无论是求职面试还是项目实战模型训练与微调都是绕不开的核心话题。本文基于面试辅导资料结合行业最佳实践梳理了 15 个关键知识点助大家应对技术面试。一、技术选型篇什么时候用什么方案Q1提示工程、RAG 和微调在实际项目中应该如何选择这是大模型应用开发中最经典的问题。记住一个核心判断逻辑先诊断问题再选择方案。问题类型症状解决方案没问清楚模型理解不了你的意图提示工程缺乏背景知识模型不知道你的私有数据RAG能力不足模型学不会特定任务微调提示工程是最轻量级的方案。当你发现模型回答跑偏时先别急着微调试试优化 Prompt。比如加上请分步骤思考、用 JSON 格式输出等指令往往能立竿见影。RAG检索增强生成适合需要实时知识或私有数据的场景。比如企业内部知识库问答你不可能每次有新文档就微调一次模型这时候 RAG 就是最佳选择。微调是重型武器适用于需要学习特定输出格式如医疗报告、法律文书垂直领域的深度推理策略将复杂能力注入到较小的开源模型中实战建议80% 的场景用提示工程 RAG 就能解决只有 20% 才需要微调。别一上来就微调成本太高。Q2谈谈你对预训练和微调的理解用一句话概括预训练是上大学微调是岗前培训。预训练让模型具备通用语言能力数据规模万亿级 token计算成本极高通常由基座模型公司主导目标学习语言本身的规律、世界知识微调让模型掌握垂直领域能力数据规模1k - 1M 条高质量指令计算成本较低应用开发者可承担目标适应特定任务、学习私域知识类比理解预训练培养了一个通识教育毕业的本科生微调则是针对具体岗位客服、医生、律师的专业培训。二、微调技术篇从全量到高效Q3什么是全参数微调为什么需要 PEFT全参数微调就是更新模型中所有参数的权重。听起来很直接但成本极高7B 模型全量微调需要约 140GB 显存需要保存完整的优化器状态和梯度PEFT参数高效微调应运而生核心思想是只训练一小部分参数。常见 PEFT 方法LoRA低秩自适应最流行Prompt Tuning只训练软提示Adapter插入小型适配层PEFT 将可训练参数比例降到 1%-10%使得在消费级显卡如 RTX 4090上微调大模型成为可能。Q4请解释 LoRA 微调的原理为什么能大幅降低显存消耗LoRALow-Rank Adaptation的核心洞察是模型微调过程中的权重更新具有内在的低秩特性。传统微调直接修改原始权重 Wh WxLoRA 微调冻结 W增加旁路 BAh Wx BAx其中W 是原始预训练权重冻结不动A 是降维矩阵如 512→8B 是升维矩阵如 8→512BA 构成低秩更新量 ΔW显存节省原理微调显存 ≈ 模型权重 优化器状态 梯度 激活值LoRA 通过减少可训练参数量把优化器状态和梯度的显存占用降到极低。配合 QLoRA4-bit 量化7B 模型单卡微调仅需 12-16GB 显存。形象理解LoRA 不是重新装修房子而是在原有结构上挂一幅画改动小但效果显著。Q5知识蒸馏中什么是软标签和硬标签温度系数有什么作用硬标签Hard Labels传统的 One-hot 编码猫[1, 0, 0, 0, 0] # 只告诉你是猫软标签Soft Labels教师模型输出的概率分布猫[0.7, 0.2, 0.1, 0, 0] # 还告诉你它有点像狗但不像汽车软标签包含暗知识Dark Knowledge——类别之间的相似性关系。温度系数T的作用T 越大概率分布越平滑学生模型学到更多类别间关系T1 时为正常概率T→0 时接近硬标签训练策略蒸馏时用较高的 T如 T4让学生学习软标签推理时恢复 T1。为什么软标签更好硬标签丢失了负样本信息。软标签保留了结构信息帮助学生模型更好地泛化尤其在数据量少时效果显著。Q6SFT、RLHF 和 GRPO 的区别为什么 GRPO 适合做推理训练这是大模型对齐技术的三驾马车技术全称核心思想成本SFT监督微调模仿人类标注的优质数据低RLHF人类反馈强化学习用奖励模型打分 PPO 优化高GRPO组相对策略优化基于一组输出的相对优势中SFT最基础让模型学会遵循指令和对话格式。RLHF需要训练独立的奖励模型Reward Model然后用 PPO 等算法优化。成本高训练不稳定。GRPODeepSeek 提出去掉了独立的奖励模型直接基于一组输出的相对优势计算奖励。为什么 GRPO 适合推理训练推理任务数学、代码有可验证的答案。GRPO 可以直接根据答案正确性给予奖励无需训练复杂的奖励模型显存占用更低收敛更快。类比RLHF 像请评委打分GRPO 像直接对答案——后者显然更高效。Q7微调时数据数量和数据质量哪个重要如何准备微调数据结论数据质量 数据数量1000 条精心构造的指令往往比 10 万条网页抓取数据效果更好。低质量数据会导致灾难性遗忘忘了原有能力学到错误模式如何准备高质量微调数据数据清洗去重、去除乱码、过滤低质内容格式统一确保符合模型接受的 Prompt 格式多样性覆盖不同任务类型、长度和难度领域对齐数据分布接近实际应用场景CoT 注入对于推理任务准备带思维链的数据实战建议先构建小的黄金数据集验证流程再逐步扩展。垂直领域中专家标注的数据价值远高于通用数据。Q8微调后如何评估大模型的效果只看 BLEU 分数够吗不够BLEU 是过时的指标。BLEU/ROUGE 基于 n-gram 重叠适合机器翻译但不适合评估大模型的逻辑、事实准确性和安全性。综合评估体系评估类型指标适用场景客观指标准确率、F1、Passk分类、代码任务模型评估LLM-as-a-Judge通用生成质量基准测试C-Eval、MMLU、GSM8K通用能力业务指标转化率、用户满意度实际业务避坑指南保留独立验证集Hold-out Set防止过拟合微调后测试通用能力是否下降业务场景优先看业务指标而非学术指标三、工业落地篇从理论到实践Q9在工业质检中YOLO 和 VLM 你会怎么选这是经典的目标检测 vs 多模态大模型的选择问题。选择 YOLO 的情况✅ 缺陷类型固定且已知✅ 需要实时检测FPS 30✅ 部署在边缘设备或低成本 GPU✅ 有大量标注好的缺陷图片选择 VLM 的情况✅ 缺陷类型未知或频繁变化零样本能力✅ 需要描述缺陷成因、评估严重程度✅ 只有少量缺陷样本✅ 需要自然语言查询行业趋势混合架构——YOLO 初筛 VLM 复检。YOLO 快速定位可疑区域VLM 进行精细分析和描述兼顾速度与智能。Q10YOLO 的数据集是怎么标注和准备的标注工具LabelImg、CVAT、RoboflowYOLO 格式.txt 文件class_id x_center y_center width height坐标均为归一化值0-1 之间。准备流程采集覆盖不同光照、角度、背景标注确保框紧贴物体不漏标划分训练集 70%、验证集 20%、测试集 10%配置生成 .yaml 文件指定路径和类别名称质量控制多人标注时需交叉验证避免对划痕等缺陷的定义标准不一。Q11在缺陷检测任务中数据量少你会采用哪些数据增强传统增强旋转、翻转、裁剪、亮度/对比度调整、噪声注入高级增强Mosaic/Mixup多图拼接或混合Copy-Paste将缺陷抠图粘贴到正常背景强烈推荐GAN/Diffusion 生成合成逼真缺陷图像Cutout/Random Erasing模拟遮挡无监督/半监督利用大量无标签数据通过伪标签训练。特别注意工业缺陷通常很小增强时不要破坏缺陷特征如过度模糊可能抹掉细微划痕。Q12在工业 AI 质检中Precision 和 Recall 哪个更重要通常 Recall召回率更重要。原因漏检False Negative意味着缺陷产品流向客户导致投诉、召回或安全事故成本极高。策略宁可误报False Positive不可漏报。误报产品可人工复检漏报产品无法追回。例外如果误报成本极高如误报导致整批昂贵材料报废则需平衡 Precision。核心思想技术指标必须服务于业务成本。构建成本矩阵计算漏检一个缺陷 vs 误报一个良品的成本以此设定阈值。四、工程实践篇显存、框架与部署Q13微调大模型时如何估算所需的显存VRAM全参数微调估算公式模型权重参数量 × 2 bytes (FP16) 优化器状态参数量 × 8 bytes (AdamW) 梯度参数量 × 2 bytes 激活值取决于 Batch Size 和序列长度 总计约 16-20 bytes / 参数示例7B 模型全量微调 ≈ 7 × 20 ≈ 140GB 显存LoRA 微调冻结主模型仅训练旁路矩阵7B 模型约需 12-16GB 显存配合量化可更低经验法则1B 参数全量训练 ≈ 20GB 显存1B 参数 LoRA 训练 ≈ 2-4GB 显存显存优化技巧Gradient Checkpointing牺牲计算换显存Mixed Precision混合精度Offload将部分状态卸载到 CPUQ14Unsloth 框架是什么CPU 和 GPU 上微调有什么区别Unsloth 框架针对 LLM 微调优化的开源库手动优化反向传播内核Triton训练速度提升 2 倍显存占用减少 60%单卡 4090 可微调更大模型CPU vs GPU 微调维度GPUCPU并行能力强弱速度快慢 10-100 倍适用场景主流微调仅调试/推理成本高低为什么 Unsloth 快它重写了 Attention 和 MLP 层的反向传播代码减少内存碎片和不必要计算开销是工程优化的典范。Q15如何将大模型的推理能力迁移到小模型上知识蒸馏是核心方法Logits 蒸馏小模型学习大模型的输出概率分布特征蒸馏小模型中间层特征逼近大模型思维链蒸馏大模型生成 CoT 数据微调小模型学习推理过程其他方法架构搜索NAS设计高效小模型架构如 MobileLLM量化INT4/INT8 降低部署门槛提示压缩学习大模型的 Prompt 压缩表示价值端侧部署手机、IoT需要小模型。通过蒸馏小模型可继承大模型 80%-90% 的能力推理成本降低 10 倍。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】