阿联酋科技创新研究院：单模型实现多视觉任务统一解决突破

这项由阿联酋科技创新研究院Technology Innovation InstituteTIIFalcon Vision团队主导的研究发表于2026年3月论文编号为arXiv:2603.27365v1。有兴趣深入了解的读者可以通过该编号在相关学术平台查询完整论文内容。传统的计算机视觉系统就像一个复杂的工厂流水线先有一个专门的视觉处理部门负责看图片然后把信息传递给另一个专门的任务执行部门来完成具体工作。这种分工明确的设计虽然有效但就像工厂里部门过多会造成沟通成本增加一样这样的系统也面临着效率和扩展性的挑战。阿联酋科技创新研究院的研究团队提出了一个颠覆性的想法能否用一个全能选手来同时完成视觉理解和任务执行呢他们开发的Falcon Perception模型就是这样一个全能选手。这个模型打破了传统的先看后做的两步骤模式而是采用了一种叫做早期融合的新方法。如果把传统方法比作先用眼睛看再用大脑思考那么Falcon Perception就像是眼睛和大脑同时工作边看边思考效率自然更高。更令人惊喜的是研究团队还创造了一个名为PBench的全新测试平台专门用来评估这类模型在复杂情况下的表现。这就像为运动员设计了一套更全面的体能测试不仅测试基本能力还要考验在各种复杂环境下的应变能力。在实际测试中Falcon Perception在SA-Co基准测试中达到了68.0的Macro-F1分数明显超越了之前最先进的SAM3模型的62.3分。更重要的是研究团队还将同样的技术思路应用到了文字识别OCR任务上开发出了一个仅有3亿参数的紧凑模型Falcon OCR在多个OCR基准测试中都取得了优异成绩。一、理解Falcon Perception一个全能的视觉助手要理解Falcon Perception的独特之处我们可以把它比作一位多才多艺的厨师。传统的视觉系统就像一个餐厅里的分工模式一个人专门负责看食材视觉编码器另一个人专门负责烹饪任务解码器。虽然这种分工有其优势但两人之间的沟通协调往往会产生延迟和信息损失。Falcon Perception则像是一位既能精准识别食材品质又能熟练烹饪各种菜肴的全能厨师。这位厨师在看到食材的同时就已经开始思考如何处理整个过程更加流畅高效。在技术层面上这意味着图像信息和文本指令从一开始就在同一个神经网络中进行处理而不是分别处理后再合并。这种设计的核心创新在于使用了一种混合注意力模式。简单来说就像这位全能厨师在处理食材时既要关注每个食材之间的关系图像标记之间的双向注意力又要按照菜谱的顺序进行操作文本标记的因果注意力。这样的设计让模型能够在理解图像内容的同时按照文本指令的逻辑顺序生成相应的结果。为了让这个全能厨师能够处理各种不同的任务研究团队设计了一种叫做感知链的工作流程。当模型需要识别和分割图像中的物体时它会按照坐标→大小→分割的顺序进行处理。这就像厨师在处理一道复杂菜品时先确定食材的位置再判断分量最后进行精确切割。这种有序的处理方式不仅提高了准确性还让模型的推理过程更加可解释。Falcon Perception还采用了一些巧妙的技术细节来提高性能。比如它使用了三维旋转位置编码3D RoPE这就像给厨师配备了一个能够精确定位每个食材在三维空间中位置的智能标记系统。同时模型还能处理不同尺寸的图像而不会变形就像这位厨师能够灵活适应不同大小的食材和厨具。二、PBench一个更严格的能力测试平台传统的视觉模型评估就像只测试学生的基础数学计算能力虽然能反映一定的水平但无法全面评估学生在面对复杂应用题时的综合能力。研究团队意识到现有的评估基准如RefCOCO系列已经出现了性能饱和现象最先进的模型都能达到80%以上的准确率很难区分它们的真实能力差异。因此他们创建了PBench这是一个更加全面和挑战性的测试平台。PBench的设计理念就像为学生设计了一套从简单到复杂的层次化考试每一层都专门测试一种特定的能力而不是把所有能力混合在一起测试。这个测试平台包含了五个不同的复杂度级别。第0级测试的是最基础的物体识别能力就像问学生这是什么。第1级增加了属性识别比如红色的汽车或破损的栅栏。第2级则考验模型的文字识别能力需要模型能够读懂图像中的文字内容比如识别可口可乐瓶子或紧急出口标识。第3级测试空间关系理解这就像问学生左边的汽车或前景中的人。这需要模型不仅能识别物体还要理解它们在空间中的相对位置关系。第4级是最具挑战性的关系和交互理解比如拿着雨伞的人或正在拖拽拖车的汽车。这要求模型能够理解物体之间复杂的交互关系。除了这五个层级PBench还专门设置了拥挤场景测试用来评估模型在处理包含大量物体的复杂场景时的表现。这就像测试厨师在繁忙的用餐高峰期能否保持服务质量。在一些极端情况下单个图像中可能包含600个以上的物体这对模型的长文本处理能力提出了严峻挑战。PBench的创建过程也体现了严谨的科学态度。研究团队确保每个样本都明确标注了其主要考察的能力类型避免了多种能力交叉导致的评估模糊性。这样的设计让研究人员能够清楚地知道模型在哪些方面表现优秀在哪些方面还需要改进。三、训练策略从基础到专精的三阶段培养训练Falcon Perception就像培养一位全能的艺术家需要经过循序渐进的三个阶段。每个阶段都有其特定的目标和训练重点确保模型能够稳步提升各项能力。第一阶段被称为多教师蒸馏这就像让学生同时向几位不同领域的专家学习。研究团队让Falcon Perception同时从两个强大的视觉模型中学习DINOv3和SigLIP2。DINOv3就像一位精通细节观察的老师能够教会模型如何精确识别图像中的局部特征这对分割任务至关重要。SigLIP2则像一位语言专家帮助模型理解视觉内容与文本描述之间的关系。这种多教师学习的好处就像学生同时接受数学老师和语文老师的指导能够获得更全面的能力基础。通过这种方式Falcon Perception在正式学习具体任务之前就已经具备了强大的视觉理解基础。第二阶段是感知训练这是模型学习具体任务的主要阶段。整个训练过程又被细分为三个子阶段就像音乐家的三个学习阶段基础练习、技能专精和演出准备。在基础练习阶段450GT模型学习预测完整的序列包括文本表达和存在标记。这个阶段的目标是让模型学会列出场景中的所有物体。通过预测一连串的物体比如先是叉子然后是刀子最后是盘子模型学会了物体共现的统计规律和场景构成的基本原理。这就像学音乐的人先要掌握基本的音阶和和弦进行。技能专精阶段225GT是一个关键的转换期。虽然第一阶段帮助模型建立了全局理解能力但也引入了一个在实际应用中不希望出现的依赖性模型可能会依赖前面物体的存在来检测当前物体。为了解决这个问题研究团队引入了两种关键的屏蔽策略。查询屏蔽确保不同查询块中的标记无法相互关注这就像让音乐家学会独立演奏每个乐段而不依赖前面的演奏内容。提示屏蔽则停止对文本表达标记的损失计算让模型将全部注意力集中在空间输出上。这就像让学生专注于技术练习而不再需要重复基础理论。演出准备阶段10GT是针对极端密集场景的适应训练。在这个阶段模型的处理能力被推向极限需要处理每个表达式多达600个掩码的超高密度场景。为了防止遗忘之前学到的特征学习率被降至极低的恒定值。这就像音乐家在正式演出前的最后彩排需要在不影响基本技能的前提下适应更高的演出要求。数据准备方面研究团队构建了一个包含5400万图像、1.95亿正向表达式和4.88亿负向表达式的大规模数据集。这个数据集的构建过程就像编写一本全面的教科书通过多阶段的流程确保质量和多样性。四、实验结果全面超越现有技术Falcon Perception在各项测试中的表现就像一位全科优等生不仅在单个科目中表现出色更在综合能力测试中展现了显著优势。特别是在需要复杂推理的任务中它的优势更加明显。在SA-Co基准测试中Falcon Perception取得了68.0的Macro-F1分数明显超过了SAM3的62.3分。更重要的是这种提升在不同类型的任务中表现出了不同的程度。在需要基本物体识别的任务中提升相对温和但在需要复杂语义理解的任务中提升幅度显著增大。具体来说在食品饮料类别中Falcon Perception达到了70.3分而SAM3仅为58.1分提升了12.2分。在体育用品类别中分数从71.2提升到75.2在属性相关任务中更是从71.1跃升到79.3。这些数据清楚地表明Falcon Perception在处理需要细致语义理解的任务时具有显著优势。在新开发的PBench测试中Falcon Perception的优势更加突出。在基础物体识别L0中两个模型的表现相当都在65分左右。但随着任务复杂度的增加Falcon Perception的优势逐渐显现。在属性理解L1中它领先了9.2分在OCR驱动的识别L2中领先幅度达到13.4分在空间理解L3中更是领先了21.9分。最令人印象深刻的是在密集场景测试中的表现。传统的SAM3模型由于采用固定数量的查询标记在处理超过200个实例的场景时会失效。而Falcon Perception凭借其自回归生成的设计可以轻松扩展到600个以上的实例在密集场景测试中获得了72.6分的高分而SAM3仅为8.9分。研究团队还发现了一个有趣现象采用采样策略而非贪婪解码可以显著提升模型性能。通过Passk评估选择k次预测中的最佳结果Falcon Perception的表现得到了大幅提升。在SA-Co测试中使用Pass8策略时模型的cgF1分数从基线的34.7跃升至54.3与SAM3持平。这个发现表明模型的概率分布中往往包含正确的解决方案但贪婪解码并不总能选中最佳答案。分辨率对性能的影响也很显著。研究发现在448?分辨率下模型在密集场景中几乎失明3.9%的micro-F1但在1024?分辨率下性能提升到61.0%提升幅度达到15倍。这个发现证实了对于拥挤场景虽然transformer主干网络能够在低分辨率下理解语义但密集感知的瓶颈在于空间细节高分辨率输入是专门化头部有效运作的前提条件。五、技术创新早期融合架构的突破Falcon Perception的技术创新就像在传统的接力赛模式中引入了团体赛概念。传统方法中视觉特征提取和任务执行是顺序进行的就像接力赛中一个选手跑完后把棒交给下一个选手。而Falcon Perception采用的早期融合架构则让所有选手从一开始就协同工作。这种架构的核心是一个统一的密集Transformer它使用混合注意力模式来同时处理图像补丁和文本标记。图像标记之间采用双向注意力这就像团队成员之间可以自由交流信息。而文本和任务标记则对图像使用双向注意力但彼此之间只能看到前面的内容这保持了生成任务的因果性质。专门化头部的设计是另一个重要创新。虽然主干网络是共享的但在需要输出连续和密集结果的地方模型配备了轻量级的专门头部。这就像一个多才多艺的艺术家虽然基本技能是通用的但在面对不同艺术形式时会使用专门的工具。坐标和尺寸编码器采用了傅里叶特征映射这解决了标准坐标标记化的精度限制和谱偏差问题。传统的方法就像用粗糙的网格来标记位置而傅里叶特征映射则像使用了一个高精度的GPS系统能够更准确地定位物体位置。分割头部的设计特别巧妙。它不需要复杂的匈牙利匹配来解决实例歧义性因为坐标和尺寸已经在分割之前确定了物体身份。由于早期融合架构分割标记的隐藏状态可以直接访问全局视觉上下文因此可以通过简单的点积生成掩码。为了恢复精细的空间细节模型采用了内容感知上采样器。这个模块将上采样表述为交叉注意力操作查询来自高分辨率输入图像键值来自主干网络的输出视觉特征。这样设计让模型能够将语义特征绘制到高分辨率像素网格上。三维旋转位置编码的应用也是一个重要创新。标准的一维RoPE会破坏对密集预测至关重要的二维网格关系。研究团队将头部维度分解为序列组件和空间组件前半部分编码一维序列索引后半部分使用Golden Gate RoPE编码二维网格位置。这种设计让注意力头部能够关注任意二维角度的相对位置产生对旋转和长宽比变化都鲁棒的各向同性注意力图。六、OCR扩展小模型的大突破研究团队将Falcon Perception的核心思想扩展到光学字符识别OCR领域开发出了Falcon OCR。这就像将一位全能艺术家的技能应用到书法领域虽然基本原理相同但需要针对文字识别的特殊需求进行调整。Falcon OCR采用了一个紧凑的3亿参数模型这个规模相比其他OCR系统要小得多但性能却相当出色。它使用相同的统一密集transformer架构但从头开始训练而非采用多教师蒸馏初始化。这个决定基于一个重要观察OCR所需的视觉特征细粒度字形识别、笔画级别判别与物体级别特征有显著差异从随机初始化开始训练能让主干网络从基础开始发展文本优化的表示。系统采用两阶段推理流程。第一阶段使用PP-DocLayoutV3进行版面检测这个轻量级的公开可用版面分析模型能够检测文档元素并产生轴对齐边界框。它将每个检测区域分类为文本块、表格、数学公式、图形、页眉、页脚和标题等类别提供空间坐标和语义标签。第二阶段是元素级OCR每个检测到的边界框都从原始高分辨率图像中裁剪出来独立输入到Falcon OCR模型中。模型根据元素类型执行端到端识别和结构化输出生成。具体来说文本块被转录为纯文本数学公式被转换为LaTeX格式表格被渲染为HTML。第一阶段的元素类型标签被编码为任务特定的提示前缀让模型能够相应调整输出格式。在olmOCR基准测试中Falcon OCR达到了80.3%的平均准确率与一些参数量更大的商业系统相当。在Mistral OCR 381.7%和Chandra82.0%之后排名第三但领先于多个知名系统包括PaddleOCR VL 1.579.3%、DeepSeek OCR v278.8%和GPT 5.269.8%。特别值得注意的是Falcon OCR在需要理解空间文档结构的类别中表现突出。在多列布局中它达到了87.1%的最高分表明早期融合主干网络非常适合捕获跨列阅读顺序。在表格处理中也获得了90.3%的高分证实了模型能够有效学习HTML表格序列化。在OmniDocBench测试中Falcon OCR获得了88.64的总体分数在参与比较的系统中排名第四。虽然在某些指标上略逊于专门优化的系统但考虑到其紧凑的规模和通用的架构设计这个表现相当令人印象深刻。七、深度分析采样策略的威力研究中一个特别有趣的发现是采样策略对模型性能的显著提升作用。这就像发现一位音乐家在即兴演奏时往往比严格按照乐谱演奏时表现更好。通过Passk评估研究团队发现Falcon Perception的概率分布中经常包含正确的定位信息但贪婪解码并不总是选择最佳预测。这种现象的原理类似于大语言模型在强化学习后训练前的状态最大似然目标学习了丰富的分布但概率质量的分布并不适合我们想要的决策。在语言、中心和尺寸头部启用随机解码后模型能够从输出分布中采样往往能找到比最确定预测更准确的解决方案。采样机制涵盖三个主要维度。语言头部的采样允许生成多样化的标记主要影响生成的结束即模型是否认为图像中存在对应查询的物体以及检测和分割的物体数量。中心头部的采样影响物体中心的定位从而影响当前时间步检测哪个物体的精确定位。尺寸头部的采样影响边界框的预测尺寸。实验结果显示随着采样次数k的增加所有指标和子集的性能都持续改善。在SA-Co基准测试中平均cgF1分数从基线的34.7跃升至Pass8的54.3绝对提升19.6分。最显著的变化出现在Wiki-Common子集cgF1从19.3提升到45.0从Pass4开始就超越了SAM3。在PBench上也观察到类似趋势。困难场景显示了最显著的改善Level 2、Level 3和Level 4在从确定性转向Pass8时F1分数分别提升了12.0、11.5和11.0分。这个发现特别有价值因为它表明采样在需要复杂推理的场景中效果最明显正是这类场景中模型的首选预测可能失败但底层概率分布往往在前几个样本中包含正确解决方案。八、架构研究深度与宽度的平衡艺术为了理解统一密集预测架构的最佳设计研究团队进行了详细的架构研究就像建筑师需要找到建筑物高度和宽度的最佳比例一样。这项研究回答了一个核心问题当视觉特征和自回归任务标记共享同一transformer堆栈时如何在深度层数和宽度隐藏维度之间分配模型容量。在固定深度的宽度扩展实验中研究团队将网络深度固定在20层隐藏维度从384变化到896。结果显示性能从384维的46.4 MCC和55.7 F1单调提升到768维的53.2 MCC和61.5 F1提升了6.8 MCC和5.8 Macro F1。进一步增加到896维时性能略有下降52.4 MCC表明在20层时架构在768维左右达到饱和。小宽度时的急剧性能下降符合容量瓶颈效应当视觉和语言特征必须共享狭窄的隐藏状态时两种模态都无法得到充分表示。这证实了早期融合架构确实需要足够的通道容量来避免模态拥挤。在等计算量的深度-宽度权衡实验中研究团队固定约3亿参数的计算预算在跨越5倍深度范围的五种配置中进行测试。两种平衡配置42L/51254.0 MCC61.9 F1和20L/76853.2 MCC61.5 F1获得了最高分数彼此在1个MCC点内。两者都大幅超越了极端配置最深最窄的72L/38452.4 MCC和最浅最宽的14L/89650.8 MCC都落后最佳配置2-4分。有趣的是54L/448模型50.0 MCC的表现甚至不如72L/384尽管拥有更宽的隐藏状态表明这个特定的深度-宽度组合落入了不利的操作区间。这些发现表明统一单堆栈架构并不会内在地遭受模态拥挤最优操作点在探索范围内是42L/512。九、未来展望简单设计的持久价值Falcon Perception的设计哲学体现了苦涩教训的深刻洞察即在技术发展中简单可扩展的方法往往比复杂的专门化设计更具长期价值。研究团队有意选择了一个苦涩的设计单一主干网络、单一训练目标系列只在输出连续和密集的地方添加小型头部。这种设计哲学的核心思想是大多数改进应该来自更多数据、更多计算和更好的训练信号而不是让流水线变得更加复杂。每当遇到失败模式时最直接的反应可能是添加新模块更强的视觉编码器、额外的融合块、新的匹配技巧或更多后处理步骤。虽然这些方法可能有效但也会使系统更难扩展和推理。可扩展接口是另一个重要优势。密集感知不是固定尺寸的预测问题实例数量可能很少也可能极多提示可能是简单物体也可能是需要推理的复杂表达。自回归生成为此提供了清晰的接口模型可以发出所需数量的实例序列长度成为感知量的调节旋钮。如果要推向1000个掩码的场景不需要新的模型系列只需要让长文本生成稳定高效。在设计中通过每个实例只发出少数任务标记同时通过分割头部并行生成掩码保持了生成的经济性。早期融合的充分性也得到了验证。现有的开放词汇系统依赖独立的视觉编码器和晚期融合阶段但研究结果支持不同观点如果图像标记和文本标记从第一层开始共享相同的主干网络模型可以学会这种交互。这对OCR引导和空间提示特别有用因为提示应该影响特征形成而不仅仅是最终解码器。采样和强化学习的潜力也很明显。Passk结果表明模型经常在其分布中包含正确的定位但贪婪解码并不总是选择它们。这与强化学习后训练前的大语言模型类似最大似然学习了丰富的分布但概率质量没有针对我们想要的决策进行整形。这种行为让人想起DeepSeek-R1其中原始模型已经包含高质量解决方案强化学习式后训练可以通过奖励期望结果来重塑分布。说到底Falcon Perception代表了计算机视觉领域的一个重要转折点。它证明了单一的、早期融合的transformer架构不仅可行而且在多个具有挑战性的基准测试中都超越了更复杂的专门化系统。更重要的是它提供了一个清晰的扩展路径通过更好的数据混合、更长的上下文训练和后训练优化来实现未来的改进而不是增加架构复杂性。这项研究不仅在技术层面取得了突破更在设计哲学上为未来的视觉系统发展指明了方向。在人工智能快速发展的今天简单而有效的设计往往比复杂的专门化解决方案更具有持久的价值。Falcon Perception的成功证明了这一点也为后续研究者提供了宝贵的启示有时候最好的解决方案可能就是最简单的那个。QAQ1Falcon Perception与传统视觉模型有什么根本区别A传统视觉模型采用先看后做的两步骤模式就像工厂流水线一样分工明确但沟通成本高。而Falcon Perception采用早期融合设计让图像理解和任务执行同时进行就像一位既能精准识别食材又能熟练烹饪的全能厨师效率更高且信息损失更少。Q2PBench测试平台比传统评估方法强在哪里A传统评估就像只测试学生基础计算能力而PBench设计了从简单到复杂的五级测试体系。它能分别评估物体识别、属性理解、文字识别、空间关系和交互理解等不同能力还专门测试模型处理拥挤场景的能力避免了传统基准测试的性能饱和问题。Q3为什么Falcon OCR只有3亿参数却能与大型商业系统竞争AFalcon OCR采用了与主模型相同的早期融合架构设计能让视觉理解和文字识别在同一网络中协同工作。虽然参数量小但其统一的架构设计特别适合处理需要空间文档结构理解的任务在多列布局和表格处理等需要复杂空间推理的场景中表现尤为突出。