DS 首款多模态大模型

关于五一前发了又删这件事DeepSeek 发布其首个多模态模型Thinking with Visual Primitives采用全新的视觉原语范式与传统多模态模型如 LLaVA 等使用模糊自然语言描述图像不同DeepSeek 的新模型将图像内容精确到具体坐标和点实现细粒度语义理解传统多模态模型的痛点:精确度低用自然语言描述图像如左边那个红色汽车存在语义模糊性复杂任务表现差在走迷宫、轨迹追踪等需要精确位置理解的任务上效果不佳细粒度控制能力弱无法精确到具体的点或坐标DeepSeek 新范式的优势:将图像元素与坐标信息一并输出精确描述每个物体的位置甚至可以精确到具体的点在细粒度控制、语义理解上具有以往模型无法比拟的优势二、模型架构输入层 ├── 图像输入 → ViTVision Transformer→ 视觉Token └── 文字输入 → 分词器 → 文本Token ↓ 语言模型DeepSeek-V2 ↓ 输出纯自然语言架构参数组件参数基础架构DeepSeek-V2 with Flash Attention总参数量284B推理时激活参数13B架构风格简洁清晰复杂点在于训练方法原始图像经过以下步骤转换为Token原始图像756 × 756 像素切分成小方块每个方块 54 × 54 像素共 14 × 14 196 个区域每个区域再细分14 × 14 的小块总Token数2916 个196 × 14 × 14 / 9三、创新视觉Token压缩压缩技术路线原始 2916 个Token ↓ 第一次压缩3×3 线性投影 ↓ 324 个Token减少 9 倍 ↓ 第二次压缩CSC技术 ↓ 81 个Token压缩效果对比模型Token数量效果其他多模态模型2916基准DeepSeek81Token利用率提升 36 倍压缩效果经过实验验证完全没有性能衰减。意义降低推理成本Token是智能体场景中的敏感指标减少Token直接降低计算成本保持高精度36倍压缩比下仍能保持甚至超越原模型效果对Agent部署和实时推理场景意义重大四、训练方法五步流程DeepSeek的训练方法分为5个阶段预训练 → SFT → 强化学习 → IFT → 蒸馏4.1 预训练Pre-training训练数据格式输入图片问题如计算这张照片上有多少人输出思考过程 答案思考模块逐个标注每个人的位置坐标最终答案如25人坐标标注方式[左上角X, 左上角Y, 宽度, 高度]示例每个人的位置用红框标出坐标以这种格式输出。训练任务类型1. 粗粒度任务示例统计图片中的人数特点一把输出多个框的坐标训练目标学会定位和计数2. 细粒度任务示例“地上有多少只熊”排除树上的熊特点逐个标注每只熊的位置坐标训练目标学会精确区分和定位3. 空间推理任务示例“哪个紫色的球跟银白色球大小一样”特点需要逐一查看每个物体理解位置、颜色、大小关系训练目标学会复杂的空间关系理解4. 迷宫导航任务示例从起点走到终点输出路径坐标特点需要输出一系列点坐标而非框训练目标理解图像精确到点的级别5. 轨迹追踪任务示例皇冠通过线条连接到哪个物体特点需要沿路径逐点追踪训练目标学会复杂的连通性理解4.2 第二阶段SFT监督微调数据拆分策略数据类型占比训练目标正常多模态数据70%通用多模态理解带坐标的精细数据30%精确位置理解专业化的模型拆分 将基座模型通过两套独立数据微调拆分为框定位模型专门处理需要输出边框的任务点定位模型专门处理需要输出精确点的任务预训练基座模型 ├── SFT框数据→ 框定位模型 └── SFT点数据→ 点定位模型拆分原因两类问题处理方式有差异独立训练避免冲突4.3 第三阶段强化学习RL强化学习的核心优势无需标注思考过程传统方式需要标注图片 问题 思考过程 答案强化学习方式只需标注图片 问题 最终答案效果数据标注成本大幅降低数据量快速上升数据难度分级让模型对同一问题回答 N 次根据正确率分级难度等级定义处理方式简单100% 正确剔除无训练价值普通有对有错保留训练困难0% 正确剔除超出学习能力核心思想找蹦一蹦能够得着的数据进行学习奖励模型设计奖励函数分为三个主要部分1. 格式奖励输出格式正确框之间无交集框模型内容不冗余2. 质量奖励答案准确表述简洁3. 准确性奖励针对不同任务设计了不同的奖励计算方式计数任务奖励准确率 f(预测值 ŷ, 真实值 y)完全一致1分偏差越大分数平滑递减迷宫任务奖励5个指标指标说明奖励逻辑穿墙惩罚路径不能穿越墙壁穿墙则后续点无效探索覆盖率死路迷宫是否探索完全部路径覆盖率越高越好最终路径准确性是否正确走出迷宫终点离目标越近越好答案正确性迷宫是否可解正确判断迷宫是否可解综合得分前4项加权求和-路径追踪任务奖励4个指标指标说明奖励逻辑点距离预测路径与真实路径的最近点距离距离越近越好曲线相似度两条路径的贴合程度越贴合越好端点精度起点终点识别准确性正确识别得高分连续性惩罚路径连续性不连续扣分强化学习流程图框定位模型 ←──┐ │ │ │ 强化学习 ← 框数据 奖励模型 │ │ ↓ │ 点定位模型 ←──┘ ↑ └──── 点数据 奖励模型4.4 第四阶段IFT指令微调后的微调模型合并将强化学习训练后的两个专业化模型合并强化学习后的框模型 点模型 ↓ 产生样本数据 ↓ 数据分级简单/普通/困难 ↓ 保留普通数据 部分简单数据 ↓ 回训预训练模型 ↓ 统一融合模型合并的意义保留特性框理解和点理解能力都保留统一输出一个模型具备两种能力能力整合相当于二合一4.5 第五阶段蒸馏Distillation教师模型框模型 点模型 │ │ 观察学生模型生成的Token ↓ 学生模型最终模型蒸馏过程学生模型生成回答和数据教师模型对同一问题进行回答学生模型学习教师模型的概率分布通过 KL 散度等方式优化本质学生写完作业交给老师批改老师给出标准答案学生学习老师的思路总结┌─────────────────────────────────────────────────────────┐ │ 预训练基座模型 │ └─────────────────────────────────────────────────────────┘ │ ┌──────────────────┴──────────────────┐ ↓ ↓ ┌───────────────────┐ ┌───────────────────┐ │ SFT框数据 │ │ SFT点数据 │ └───────────────────┘ └───────────────────┘ │ │ ↓ ↓ ┌───────────────────┐ ┌───────────────────┐ │ 强化学习框 │ │ 强化学习点 │ └───────────────────┘ └───────────────────┘ │ │ └──────────────────┬──────────────────┘ ↓ ┌───────────────────┐ │ 模型合并 (RFT) │ └───────────────────┘ │ ↓ ┌───────────────────┐ │ 产生训练数据 │ └───────────────────┘ │ ↓ ┌───────────────────┐ │ 蒸馏学习 │ └───────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────────┐ │ 最终学生模型 │ └─────────────────────────────────────────────────────────┘突破点突破点说明视觉原语范式从模糊自然语言描述 → 精确坐标输出解决语义模糊性问题Token压缩36倍通过两次压缩3×3投影 CSC2916 Token → 81 Token无性能衰减强化学习应用无需标注思考过程降低标注成本数据量快速扩展复杂任务能力迷宫导航、轨迹追踪等需要精确点级理解的任务模型拆合策略先拆分为专业化模型再合并融合最终蒸馏强化七、发展论文发布后不久DeepSeek 将该论文火速撤回。分析认为该模型更多是**中间态技术探索**不是最终形态预计会推出更完善的下一代多模态模型启示-DeepSeek 的方法论架构尽量清晰简单复杂点放在训练方法上这种方法最终训练出的模型并不简单是一种优雅且符合最终解的技术路线