上海交大首创PlanViz：计算机使用任务中的智能图像生成新基准

这项由上海交通大学、复旦大学和华为技术有限公司联合开展的研究发表于2026年2月的arXiv预印本论文编号为arXiv:2602.06663v1。有兴趣深入了解的读者可以通过该编号查询完整论文。在我们日常使用电脑和手机的过程中经常需要处理各种视觉任务规划旅行路线、制作工作流程图、设计网页界面等。随着人工智能技术的发展统一多模态模型UMMs在生成自然图像方面表现出色但它们在处理这些与计算机使用相关的专业任务时表现如何至今还是个谜。研究团队注意到一个有趣的现象现有的AI图像生成模型在创作风景照或人物肖像时可以做得相当不错但当用户要求它们生成一张旅行路线图、一个工作流程图或者一个网页界面时结果往往差强人意。这就像是一位擅长画风景画的艺术家突然被要求绘制建筑图纸一样需要完全不同的技能组合。为了系统性地评估这些AI模型在计算机使用任务中的表现研究团队开发了一个全新的评估基准——PlanViz。这个基准的特别之处在于它专门针对那些需要规划思维和空间推理的图像生成任务。简单来说就是测试AI是否能像人类一样在生成图像时进行逻辑思考和空间布局。PlanViz基准包含三个核心任务类别每一类都紧密贴合我们的日常生活。首先是路线规划任务类似于为朋友安排一次城市美食之旅需要在地图上标出合理的行进路线。其次是工作流程图绘制就像制作一份如何申请签证或如何准备求职面试的详细步骤图。最后是网页和用户界面展示相当于设计一个博客页面的布局或预测用户点击某个按钮后页面会发生什么变化。研究团队在构建这个基准时面临了不少挑战。传统的AI图像评估通常关注生成图像是否美观自然但计算机使用任务更需要准确性和功能性。这就像评价一张地图时我们不仅要看它是否画得漂亮更重要的是路线是否正确、标识是否清楚。因此团队设计了一套全新的评分体系PlanScore从三个维度评估生成的图像正确性、视觉质量和效率性。正确性维度检查生成的图像是否准确完成了任务要求。比如在路线规划任务中AI生成的路线是否真的连接了用户要求的所有地点是否遵循了实际的道路走向。视觉质量维度评估图像是否清晰、协调、符合视觉逻辑。效率性维度则检查图像中是否包含了不必要的元素就像一份简历不应该包含无关信息一样。为了确保评估的准确性研究团队采用了人工标注和AI辅助评判相结合的方法。他们邀请了计算机科学专业的博士生作为标注员为每个任务提供参考答案和关键评分点。然后使用最新的多模态大语言模型作为AI评委根据这些标准给出客观的分数。人工评估验证显示AI评委的判断与人类专家的意见高度一致相关系数超过0.8证明了这套评估体系的可靠性。研究团队还特别关注了问题设计的多样性。在现实生活中有些任务有明确的标准答案比如从A点到B点的最短路径而有些任务则允许多种合理的解决方案比如设计一个美观的网页布局。因此他们将所有问题分为封闭式和开放式两类总共包含231个开放式问题和129个封闭式问题确保能够全面测试AI模型的不同能力。一、当前AI模型的表现差距悬殊的现实研究团队对13个统一多模态模型和9个专门的图像生成模型进行了全面测试结果揭示了一个有些令人意外的现实。就像学霸在不同科目上的表现可能大相径庭一样这些在自然图像生成方面表现优秀的AI模型在计算机使用任务上却显露出明显的弱点。最显著的发现是图像编辑任务比图像生成任务难得多。这种差异就像是让一个人从零开始画一幅画和让他在现有画作上进行精确修改之间的差别。在图像生成任务中最好的模型如GPT-Image-1能够达到0.8到0.9的正确性分数基本接近人类水平。但在图像编辑任务中即使是最先进的模型也只能达到0.3到0.5的分数距离人类标准还有很大差距。闭源商业模型和开源模型之间存在着明显的性能鸿沟。商业模型如GPT-Image-1、Seedream-4.5等在各项测试中普遍表现更好而大多数开源模型的表现相对较弱。这种差异可以用资源投入来解释商业模型通常拥有更大规模的训练数据、更强的计算资源和更精细的调优过程就像专业运动员和业余选手在训练条件上的差别一样。不同子任务的难度也呈现出有趣的分层现象。在图像生成任务中路线规划是最具挑战性的最好模型的正确性分数只有0.81而工作流程图和网页界面设计则相对容易一些能达到0.90左右。这种差异反映了不同任务对AI模型能力要求的不同路线规划需要更强的空间推理能力和地理知识而流程图设计更多依赖逻辑结构的理解。研究还发现了一个有趣的现象许多模型能够生成视觉效果不错但功能上错误的图像。就像一道看起来色香味俱全但实际上咸淡不均的菜一样这些AI生成的图像在视觉质量维度得分较高但在正确性维度得分很低。这表明现有模型更擅长模仿表面的视觉特征而在理解任务的深层逻辑方面还有欠缺。开放式问题和封闭式问题的表现差异也很明显。几乎所有模型在封闭式问题有明确答案的问题上的表现都好于开放式问题允许多种合理答案的问题。这说明当任务要求更具体、约束更明确时AI模型能够更好地理解和执行任务。这就像给学生出题时选择题往往比开放性论述题更容易得到准确答案。二、深入分析AI模型的能力边界与挑战通过细致的分析研究团队发现了几个影响AI模型表现的关键因素。这些发现就像医生诊断病情时发现的症状一样帮助我们理解问题的根源。首先是思维机制的有限效果。一些模型配备了所谓的思维功能类似于让AI在回答问题前先进行内部思考。然而这种机制在计算机使用任务中的改进效果微乎其微。在图像编辑任务中启用思维模式的模型改进幅度通常只有0.02到0.04分几乎可以忽略不计。相比之下在图像生成任务中思维机制的效果稍好一些但仍然不够显著。这就像一个学生考试前临时抱佛脚虽然可能有些帮助但无法从根本上改变基础能力不足的问题。其次是正确性和视觉质量之间的权衡困境。研究发现许多模型面临着一个两难选择要么生成功能正确但视觉效果一般的图像要么生成视觉效果很好但功能错误的图像。这种现象在路线规划任务中尤为明显。有些模型能够准确标出路线但生成的地图看起来粗糙模糊另一些模型则能生成精美的地图但路线规划完全不合理。这就像是让一个人既要当工程师又要当艺术家很难在两个角色之间找到完美的平衡点。语言提示风格对模型表现的影响也不容忽视。研究团队通过改变相同任务的表达方式发现开源模型对语言风格的敏感度远高于商业模型。当同一个任务用不同的语言风格表达时开源模型的表现可能出现较大波动而GPT-Image-1等商业模型则相对稳定。这就像是不同的人对同样的指令有着不同的理解能力有些人能够理解各种表达方式而有些人则需要特定的表达方式才能准确理解。模型在不同子任务上的表现一致性也是一个问题。很少有模型能够在所有三个子任务上都表现出色大多数模型都有明显的强项和弱项。比如某些模型在网页界面设计上表现不错但在路线规划上就力不从心另一些模型可能擅长工作流程图但对复杂的网页交互预测就束手无策。这种不一致性反映了当前AI技术的一个根本局限缺乏真正统一的理解和生成能力。更深层次的问题在于模型对任务本质的理解程度。许多模型虽然能够生成符合表面要求的图像但并没有真正理解任务的核心目标。比如在路线规划任务中一些模型可能会生成一条视觉上令人满意的路线但这条路线实际上无法通行或者没有考虑到实际的地理约束。这就像是一个人能够模仿专业地图的外观但对地图背后的地理知识和导航原理一无所知。三、技术创新PlanScore评估体系的巧思为了准确评估AI模型在计算机使用任务中的表现研究团队开发了PlanScore评估体系。这套体系的设计理念就像为不同类型的考试制定相应的评分标准一样既要保证公平性又要确保评估的全面性和准确性。PlanScore由三个相互补充的维度组成每个维度都有其独特的评估重点。正确性维度是整个评估体系的核心就像考试中最重要的是答案是否正确一样。但与传统考试不同的是计算机使用任务往往没有标准答案因此研究团队采用了关键点匹配的方法。他们为每个任务手工标注了一系列关键评分点从一般性要求如必须提供完整的图表到具体要求如路线必须经过地图上的两个博物馆。AI生成的图像通过满足这些关键点的数量来获得正确性分数。视觉质量维度关注的是生成图像的美观程度和视觉协调性。这个维度特别重要因为即使功能正确如果图像看起来混乱不堪或者难以理解也无法满足实际使用需求。就像一份内容正确但排版混乱的报告很难被人接受一样视觉质量直接影响用户体验。对于图像编辑任务这个维度还包括对原始图像风格和布局的保持程度确保编辑后的图像与原图保持一致性。效率性维度测量的是图像中是否包含不必要或无关的元素。在信息爆炸的时代简洁明了往往比复杂华丽更有价值。如果一个AI模型在生成路线图时添加了大量无关的装饰元素或者在设计网页界面时包含了用户没有要求的功能就会在效率性维度上失分。这个维度确保AI模型能够准确理解用户需求避免画蛇添足。为了实现自动化评估研究团队采用了多模态大语言模型作为AI评委。他们选择了Qwen3-VL-235B-A22B-Instruct模型这是一个在视觉理解和判断方面表现出色的AI系统。这就像聘请一位既懂艺术又懂技术的专业评委一样能够从多个角度对生成的图像进行全面评估。评估过程的设计也颇为巧妙。对于正确性评估AI评委会获得详细的关键点列表和人工标注的参考图像然后判断生成图像满足了哪些关键点。对于视觉质量和效率性评估AI评委会给出0到5分的评分然后转换为0到1的标准化分数。这种设计既保证了评估的一致性又为不同类型的任务提供了灵活性。为了验证评估系统的可靠性研究团队进行了大规模的人工验证实验。他们邀请了10名人工评估员对随机选择的200个样本进行评估结果显示AI评委的判断与人类专家的意见高度一致相关系数普遍超过0.8平均绝对误差控制在可接受范围内。这种一致性证明了PlanScore评估体系的科学性和实用性。四、实验设计全面而严谨的测试过程研究团队的实验设计体现了科学研究的严谨性和全面性。整个实验过程就像一场精心编排的大型测试每一个环节都经过仔细考虑和验证。在模型选择方面研究团队涵盖了当前AI领域的主流代表。他们测试了13个统一多模态模型包括开源模型如OmniGen2、Bagel、Janus-4o等以及商业闭源模型如GPT-Image-1、Gemini3-Pro-Image、Seedream-4.5等。此外还包括了9个专门用于图像生成或编辑的传统模型如FLUX.1、Stable Diffusion等。这种全面的覆盖就像举办一场包含各个级别选手的综合性比赛能够真实反映不同技术路线的能力水平。数据收集过程体现了团队对质量的严格把控。所有的源图像都是研究人员手工收集的真实截图包括各种网站、应用程序和地图界面。他们遵循三个严格的质量标准图像必须清晰可见文字内容必须易于识别选择的图像必须来自真实的应用场景。这就像选择食材时坚持新鲜和高质量的原则一样确保实验的基础数据具有代表性和实用性。人工标注过程采用了多重质量控制措施。首先由计算机科学专业的博士生完成初始标注然后通过盲测验证的方式进行质量检查。另一组不知道原始标注结果的评估员会独立检查每个问题的难度设置和参考答案的准确性。只有当两组评估员的意见达成一致时该问题才会被纳入最终的测试集。这种双盲验证机制确保了标注质量的客观性和可靠性。为了增加测试的真实性研究团队还特别设计了语言风格多样性测试。他们使用GPT-4o对原始问题进行了风格转换生成了多种不同的表达方式。比如同一个路线规划任务可能会以正式的商务语言、轻松的朋友聊天语调或者详细的技术描述等不同风格呈现。这种设计模拟了真实用户在使用AI系统时可能采用的各种表达习惯。评估过程的稳定性验证也很值得关注。研究团队随机选择了50张生成图像使用同样的评估标准重复评估了10次然后计算变异系数来检验评估的一致性。结果显示变异系数仅为3.4%说明评估系统具有很好的稳定性和可重复性。这就像一个精密的测量仪器每次测量都能得到基本一致的结果。五、发现与启示AI发展的新方向通过这项全面的研究团队揭示了当前AI技术在实际应用中面临的一些根本性挑战这些发现为未来的技术发展指明了方向。最重要的发现是当前的AI模型在处理需要深度规划和空间推理的任务时还存在显著局限。这就像是一个能够流利背诵诗歌但不懂诗歌含义的学生一样现有的AI模型往往能够模仿表面的视觉特征但缺乏对任务本质的深层理解。这种局限在图像编辑任务中表现得尤为明显因为编辑任务不仅需要生成能力还需要对原有内容的精确理解和修改能力。另一个重要发现是开源模型和商业模型之间的显著差距。这种差距不仅体现在整体性能上还表现在稳定性和鲁棒性方面。商业模型通常能够更好地处理不同风格的输入对语言表达的变化不那么敏感而开源模型则容易受到提示词风格变化的影响。这种差异反映了模型训练数据规模、训练方法和后期优化程度的不同。研究还发现了一个有趣的现象AI模型在不同类型任务上的能力发展并不均衡。路线规划任务普遍比工作流程图和网页界面设计更困难这可能与任务本身的复杂性有关。路线规划需要更强的空间推理能力和对现实世界约束的理解而流程图设计更多依赖逻辑结构网页界面设计则主要考验视觉布局能力。思维增强机制的有限效果也是一个值得深思的发现。尽管很多最新的AI模型都配备了类似思维链的推理增强功能但在计算机使用任务中这些机制的改进效果微乎其微。这说明仅仅在生成过程中加入更多的思考步骤并不能从根本上解决理解和规划能力的不足。真正的改进可能需要在模型架构和训练方法上进行更深层次的创新。正确性和视觉质量之间的权衡问题揭示了当前技术的一个根本局限。理想的AI系统应该能够同时保证功能的正确性和视觉的美观性但现有模型往往只能在两者之间做出选择。这种权衡反映了当前AI技术在多目标优化方面的不足未来的研究需要开发能够平衡多种评估维度的新方法。语言提示的敏感性问题也为实际应用提出了挑战。如果AI模型的表现会因为用户表达方式的微小变化而产生显著波动那么在实际使用中就很难保证一致的用户体验。这个问题在开源模型中更为突出说明提高模型对不同输入风格的鲁棒性是一个重要的研究方向。六、实际案例分析看见差距与希望通过具体的案例分析我们能够更直观地理解不同AI模型的表现差异和存在的问题。研究团队展示的案例就像是一面镜子既反映了当前技术的不足也展现了未来改进的可能性。在路线规划任务中研究团队要求AI模型设计一条以美食为主题的东京旅行路线并绘制出来。面对这个看似简单的任务不同模型的表现却大相径庭。开源模型FLUX.1-dev生成了一张包含一些食物图标和弯曲线条的图像看起来确实像是一张旅行地图但仔细观察会发现这些食物图标的位置是随意的线条也没有遵循实际的道路走向。这就像是一个对东京一无所知的人凭空画出的想象地图。相比之下商业模型GPT-Image-1的表现要好得多。它不仅准确标出了东京的实际地标位置还合理规划了连接这些地点的路线甚至在地图上标注了具体的美食名称和餐厅信息。虽然在某些细节上仍有改进空间但整体上已经接近人类专家的水平。这种差异就像是专业导游和业余爱好者之间的区别。在工作流程图任务中当要求AI模型生成一个申请专利流程的详细图表时开源模型Bagel生成了一些包含文字框和箭头的图像外观上确实像是流程图但文字内容大多是无意义的字符组合箭头的连接也缺乏逻辑性。这就像是一个不懂专利申请的人试图画出流程图的外在形式但完全不理解每个步骤的实际含义。商业模型Janus-4o在这个任务上表现相对较好它能够生成包含合理步骤的流程图虽然某些细节可能不够准确但整体逻辑清晰步骤之间的连接也比较合理。不过与人工制作的参考流程图相比AI生成的版本在专业性和完整性方面还有一定差距。网页界面设计任务展现了另一个有趣的现象。当要求模型设计一个博客文章页面顶部是标题中间是内容右侧是侧边栏时大多数模型都能理解基本的布局要求并生成相应的界面设计。但在细节处理上差异就显现出来了。一些模型生成的界面虽然布局正确但色彩搭配不协调文字大小不合理整体看起来很不专业。另一些模型则能够生成视觉效果不错的界面但功能元素的位置可能不符合用户体验的最佳实践。图像编辑任务的挑战更大。当研究团队提供一张博物馆地图要求AI规划一条参观6个展厅的路线并在地图上标出时大多数模型都遇到了困难。一些模型完全忽略了原始地图的内容生成了全新的图像另一些模型虽然保留了地图的基本结构但添加的路线毫无逻辑甚至穿墙而过。只有少数几个最先进的商业模型能够在保持原始地图风格的同时添加合理的参观路线。这些案例清楚地展示了当前AI技术的能力边界。在相对简单的任务上先进的AI模型已经能够提供不错的解决方案但在需要深度理解和复杂推理的任务上即使是最好的模型也还有很大的改进空间。这种现状为未来的研究指明了方向需要开发更好的理解和推理算法提高模型对复杂任务的处理能力。说到底这项研究为我们勾勒出了AI技术发展的一个重要侧面。虽然当前的AI模型在生成精美图像方面已经相当出色但要真正成为人类的智能助手还需要在理解复杂任务、进行逻辑推理和处理实际约束等方面取得更大的突破。PlanViz基准的建立为这一进步提供了重要的测量工具就像是为攀登更高山峰准备了精确的高度计一样。归根结底这项研究揭示的不仅是当前AI技术的局限性更是未来发展的巨大潜力。随着技术的不断进步和研究的深入我们有理由相信未来的AI助手将能够更好地理解和完成各种复杂的计算机使用任务真正成为我们工作和生活中不可或缺的智能伙伴。对于普通用户来说这意味着更强大、更可靠的AI工具即将到来对于研究人员来说这指明了下一阶段努力的方向。无论如何PlanViz基准的出现都标志着AI图像生成技术评估进入了一个新的阶段一个更贴近实际应用需求的阶段。QAQ1PlanViz基准主要测试AI模型的什么能力APlanViz基准专门测试AI模型在计算机使用任务中的图像生成和编辑能力包括路线规划、工作流程图绘制和网页界面设计三个方面。它重点评估模型是否能像人类一样进行逻辑思考和空间布局而不仅仅是生成视觉效果好的图像。Q2为什么现有的AI模型在计算机使用任务中表现不佳A主要原因是现有AI模型缺乏对任务本质的深层理解。它们能够模仿表面的视觉特征但在需要空间推理、逻辑规划和现实约束理解的任务中就力不从心。特别是图像编辑任务需要同时理解原有内容和修改要求对AI来说难度更大。Q3PlanScore评估体系有什么特别之处APlanScore从三个维度评估AI生成的图像正确性、视觉质量和效率性。与传统只关注视觉效果的评估不同它更重视功能性和实用性。研究团队还采用了AI评委结合人工验证的方法确保评估既准确又高效相关系数超过0.8。