从点和框出发，但不止于点和框：deepseek 的 Visual Primitives 的方法论价值

DeepSeek 的《Thinking with Visual Primitives》论文表面上是在多模态模型推理过程中加入 point 和 bounding box让模型可以一边看图一边标出对象。我初看这篇论文时对它的预期很高甚至以为它可能打开一个全新的视觉任务方向彻底改变视觉模型的发展路径。但仔细想下来它目前还没有达到这个高度。网络上很多评论认为这篇论文解决了“指着图像来分析”的问题或者说它一定程度上解决了空间定位问题。这个判断没有错但我认为还不够深入。这篇论文真正重要的地方并不是“点和框”本身。它更大的价值在于它把一个过去经常被混在通用多模态推理里的问题单独拿了出来。这个问题就是模型不只是要“看见”还要知道自己正在引用图中的哪一个对象。这是这篇论文第一个直观的核心价值。更深一层看它还验证了一个很重要的方向只要我们能把一类问题抽象出来给它建立清晰的机制、数据和训练反馈Transformer 就有可能学会这类能力。DeepSeek 在这篇论文里把“视觉表达和视觉指代”这个问题单独抽象出来建立了一套专门机制。它不一定提出了最终最好的表达方式但它证明了原本隐含在模型内部的视觉引用能力可以被单独训练出来。这对视觉推理有启发对其他领域也有启发。一、当前视觉模型的问题不是看不到而是容易指错很多多模态模型现在已经能识别图像里的物体。比如一张图里有人、车、杯子、按钮、箭头、文字、线路模型通常能说出来。但真正困难的是当它需要一步一步推理时它能不能一直盯住同一个对象。比如问题是右上角桌子边缘附近的红色杯子有几个模型可能第一步看的是右上角第二步却把注意力转到右侧中间第三步又把旁边的蓝色杯子混进来。最后它给出一个答案看起来有推理过程但中间引用的对象已经变了。这类错误不是简单的“没看见”而是它没有稳定地指向同一个对象。这就是这篇论文要解决的问题。二、Visual Primitives 做了什么论文提出的做法很直观让模型在推理时把自己正在看的对象标出来。比如以前模型可能这样推理右上角有几个红色杯子看起来是 3 个。但现在它可以这样推理先找到右上角区域 标出这个区域里的红色杯子 确认有 3 个 再回答。这里的 point 和 bounding box本质上就是模型的“手指”。它们的作用不是取代视觉 token也不是说框就是最好的表达方式而是让模型能够明确表示我现在说的是图里的这个东西。也就是说这篇论文不是简单地让模型“看得更清楚”而是让模型在推理过程中能够“指得更明确”。三、为什么把这个机制单独拿出来很重要过去很多多模态模型把所有事情都混在一起做看图 理解问题 找对象 判断关系 生成答案这些步骤都在模型内部完成外部看不到模型到底有没有找对对象。一旦答案错了我们很难知道问题出在哪里是没识别出对象 是找错了对象 是关系判断错了 还是最后回答错了Visual Primitives 的意义在于它把“找对象、指对象”这个环节单独拿出来。这样就变成第一步模型先指出它要看的对象 第二步基于这些对象继续推理 第三步给出答案。这会带来一个很大的好处模型的中间过程可以被检查。如果模型数错了我们可以看它到底是漏标了一个杯子还是把别的杯子也框进来了。所以这个机制有效的根本原因不只是因为用了 point 或 bounding box而是因为它把“视觉引用”变成了一个独立的、可以训练和检查的步骤。四、关键问题bounding box 不一定是最好的表达方式很多人会把这篇论文理解成用 bounding box 表达对象所以效果更好。这个理解不够准确。bounding box 只是当前比较容易实现的一种表达方式但它并不一定是最好的表达方式。因为 bounding box 有天然限制。它只能表达一个矩形区域而现实中的很多对象并不是矩形。比如弯曲的电线 不规则形状的道路 被遮挡的人 细长的工具 复杂的机械零件 图表里弯曲的曲线 电路图里交叉但不相连的线路。这些对象用 bounding box 表达都不够理想。举一个更直观的例子。假设图中有一根弯曲的电线问题是这根电线连接的是哪两个接口如果用 bounding box 表达这根电线模型只能画一个矩形框。但这个矩形框里面可能包含电线本身 其他交叉的线 背景区域 旁边的文字 不相关的接口。这样一来框虽然“框住了电线”但也把很多不相关的东西一起框进来了。模型后面继续推理时仍然可能搞错它到底是在说这根线 还是框里的另一根线 还是旁边那个接口这说明bounding box 在这类问题里并不是最合适的表达。更合适的表达可能是一串区域 token 一条 mask 一组轮廓 token 一个对象 token 一张关系图。这些表达可以更准确地表示“这根弯曲的电线本身”而不是粗略地框住一个矩形区域。所以这篇论文真正重要的不是证明bounding box 是最好的视觉表达。而是说明模型需要一种可以明确引用视觉对象的机制。这个机制现在可以用 point 和 bounding box 实现未来也可以用 region token、mask token、object token 或其他更灵活的方式实现。五、为什么 token 方式可能更灵活如果用 token 的方式表达视觉对象就不一定非要把对象转换成坐标或矩形框。例如一个对象可以由多个视觉区域 token 组成区域 token A 区域 token B 区域 token C 区域 token D这些 token 合起来表示一个完整对象。这样做的好处是它可以表达任意形状。比如一条弯曲的道路 一个不规则的零件 一个被遮挡的人 一根细长的线 图表中的一条曲线。这些对象都不适合用一个矩形框表达但可以用一组区域 token 或 mask token 表达。这样模型得到的不是这个对象在某个矩形框里。而是这个对象由这些相关区域组成。这显然更接近真实视觉对象的形态。所以从表达能力看token / region / mask 方式可能比 bounding box 更灵活也更有发展空间。但这里有一个关键点token 表达是否更好不是最核心的问题。最核心的问题是视觉引用这个机制必须被单独建模出来。也就是说无论未来用的是 box、point、mask还是 token关键都不是具体格式而是模型必须学会我现在引用的是这个对象 后续推理要围绕这个对象展开 这个引用过程可以被训练和检查。这才是论文真正有启发性的地方。六、这篇论文更本质的意义把一种机制单独抽象出来这篇论文让我觉得更有价值的地方是它体现了一种很重要的方法论当一个能力长期隐藏在模型内部、表现不稳定时可以把它单独抽象出来设计成一个明确机制让模型专门学习。以前“模型到底在看哪里”是隐含在 attention 和视觉 token 里的。外部看不到也很难监督。DeepSeek 把它变成了一个显式动作你要说图里的对象就先把它指出来。这一步很关键。它不是简单增加一个输出格式而是把一个模糊能力变成了可训练能力。这其实也再次说明了 Transformer 的强大之处只要任务被清楚地拆出来 只要表达方式足够明确 只要训练数据和反馈机制足够清晰 模型就有可能学会这个机制。所以这篇论文的启发不只在视觉领域。它说明很多过去看起来只能依赖模型“自己理解”的能力其实都可以被拆出来单独设计机制。比如未来也可以继续探索显式空间引用 显式对象关系 显式时间线追踪 显式因果链 显式工具调用路径 显式记忆引用 显式状态管理。这些能力如果都能像 Visual Primitives 一样被机制化、训练化模型的可靠性会进一步提高。七、为什么 point 和 box 仍然有价值虽然 point 和 box 不是最终形态但它们很适合作为第一步。原因很简单容易生成 容易标注 容易检查 容易训练 容易评估。如果模型输出一个框我们可以很容易判断这个框有没有框住目标 是不是框错了 是不是重复框了 是不是漏框了这对训练非常重要。如果模型输出的是一个很抽象的内部 token表达能力可能更强但外部很难判断它到底指向哪里。所以 point 和 box 的价值不在于表达能力最强而在于它们让“模型到底指向哪里”变得可见、可检查、可训练。这也是为什么这篇论文会先选择 point 和 bounding box。它们不是最强表达但它们是最容易建立训练闭环的表达。八、这篇论文真正打开的方向这篇论文真正有启发性的地方是视觉推理不能只靠模型内部隐式理解必须让关键对象在推理过程中被明确引用。这对很多场景都很重要。比如图表分析模型需要知道它引用的是哪条曲线 GUI Agent模型需要知道它要点击哪个按钮 机器人模型需要知道它要抓哪个物体 自动驾驶模型需要知道它关注的是哪辆车、哪个行人 工程图分析模型需要知道它正在判断哪根线、哪个接口。在这些场景里模型不能只是“描述得像是懂了”。它必须明确知道我正在看哪里 我正在引用哪个对象 我的下一步操作对应哪个区域。这就是 Visual Primitives 对未来多模态模型的重要意义。它推动模型从看图说话走向看图定位 看图推理 看图行动九、它的局限这篇论文也不是最终答案。当前机制还有几个明显限制point 和 box 表达不够精细 复杂形状仍然不适合用框表示 有些情况下需要人工提示模型使用这些标记 模型还没有完全学会自己判断什么时候该“指一指” token / mask / region 这类更强表达还没有充分展开。所以它更像是一个方向性起点而不是最终解决方案。更合理的发展路线可能是point / box → mask → region token → object token → scene graph → visual program也就是说未来的表达会更丰富但核心思想不会变视觉对象必须能被明确引用。十、最终评价《Thinking with Visual Primitives》的真正贡献不是提出了 point 或 bounding box 这种表达格式而是把“视觉引用”这个关键机制单独拿出来让它成为模型推理过程中的显式步骤。过去模型可能只是“看到了很多东西”现在它开始学会“我现在说的是这个东西”。这一步非常重要。但更进一步说point 和 bounding box 可能只是这个方向的早期实现。未来更好的表达方式很可能不是简单的矩形框而是更灵活的 token、mask、region 或对象级表示。所以这篇论文真正值得关注的不是模型用了框。而是模型开始把“指向对象”作为推理的一部分。更本质地说它证明了一个原本隐含在模型内部的能力可以被单独抽象出来建立机制并通过训练让模型学会。这才是它对多模态模型发展的真正启发。它不一定彻底改变视觉模型的发展方向但它明确指出了一个重要路径复杂能力不一定只能靠模型自己“涌现”也可以通过清晰的问题抽象、表达机制和训练反馈被一步步训练出来。当然这个论文中提出的这个具体的方法对于视觉推理、GUI Agent、机器人、复杂图表分析以及未来更多需要稳定中间过程的任务来说这个方向具有明确的长期价值。