14款大模型横评：ChatGPT仍领先，国产模型进步神速！你的老板可能正在用AI写周报？

过去一个多月我们访谈了十多位工作中经常使用大模型的人结合社交媒体上广泛传播的用例设定 15 个日常工作相关的问题测评国内外 14 款大模型包括最近上线的 GPT-5.1、Claude Opus 4.5、Gemini 3 Pro、文心 5.0、Kimi K2 Thinking 等模型。本次评测我们不涉及编程工作、agent 和深度研究也没有用需要基础编程的复杂处理方式交互都在对话框内完成。测试中我们全用中文提问每个问题单开一个对话框选大模型第一次回答的结果。我们让大模型相互盲评用来辅助判断开放式问题的结果。我们累计与不同的模型助理交互超千次。大模型的回答有一定随机性这不是完全严谨的评测但更接近现实使用场景。之后评测将定期更新。多人多轮头脑风暴海外模型情商较高阿里千问最会劝老板角色扮演是大模型的强项。ChatGPT 引发大模型潮流之后市场上迅速出现相关的大模型应用比如 Character.ai、星野、猫箱等。它的潜力不只有陪人聊天已经有社会学者用大模型生成 “硅基样本”用来模拟人类的行为模式称 “可复现性强、成本低廉、规避因样本选择不当而产生的偏差”。它也可以用来头脑风暴。我们参考 Reddit 论坛中数千人点赞的大模型使用场景在大模型的协助下设置一组问题用来测试它们的能力。第一个问题是上下滑动阅读我要创建一个由 8 个不同人格角色组成的个人决策委员会每个角色代表一种独特的思维方式。这些人格将作为我的私人智囊团。每当我遇到问题时他们会从不同视角给我提供建议。以下是 8 位委员会成员的定位和思维模式保守主义者谨慎、规避风险专注责任感、道德观和结构化思维。提供谨慎且合乎伦理的视角确保我不会做出鲁莽的决定。乐观主义者只看到潜在好处鼓励积极进取。帮助识别机遇并激励我追求财务和事业上的提升。现实主义者平衡利弊 有远见但很务实既能宏观思考又能脚踏实地。确保我的想法有野心又切实可行。反叛主义者挑战常规自律有极度抗压能力。推动我突破舒适区确保我不甘于平庸。直觉主义者感性、本能驱动引导我相信直觉让决策与个人成就感和人际关系相契合而不是只靠逻辑或利益得失。数据分析专家数据驱动逻辑导向运用第一性原理思维和数据分析按照逻辑拆解问题并消除情感偏见。战略专家战术型、战争思维、长期规划者将决策视为一场策略与耐心的博弈能预见多步之后的局面。公关专家富有说服力、魅力四射、社交灵活深谙人际沟通技巧拥有极强的说服能力确保我做出的选择能最大化赢得他人好感。让我们先组建这个 8 人委员会然后我会提出问题。这个问题的答案我们交给参与测评的大模型助手相互盲评让它们从准确性、完整性、逻辑性、参考性、可读性角度评分。大模型助理的答案汇总后一共有 1.8 万字。盲评过程就有大模型助理出现问题商汤商量无法支持这么长的上下文文心一言在思考过程中完成了评分但最终输出的结果仅包含部分评分刷新重试后正常讯飞星火只给第一个回答评分刷新后并没有解决。参与盲评的大模型们认为ChatGPT 得分最高然后是阶跃星辰的助理商汤商量排在第三。它们的共同点是根据自己的理解制定了相对完善的议事规则并给每个角色设定了昵称。最低分是 MiniMax Agent 组建的委员会它只是调整了提示词并没有把它当作一个委员会组织起来。在我们测评期间ChatGPT、文心一言、Gemini 使用的大模型都升级了重新测评之后发现它们回答的得分都略有波动但差别不大。紧接着我们向大模型提出问题我要开品牌外卖店从北京起步主打高品质做米其林三星水平的家常菜人均只要 25 元。所有的食材在工厂备菜分切门店用机器人现炒。接下来我在中国要开 10000 家门店。基本每个大模型都能扮演好这些角色并给出符合性格特征的回答。还有模型指出它要面对与京东七鲜小厨的直接竞争比如元宝、文心一言、Kimi。大模型助理们都提及 “米其林三星水平的家常菜” 和 “人均只要 25 元” 相互矛盾建议不要这样定位。比如 ChatGPT 说 “在现实世界里几乎不可能直接成立”Gemini 说它是 “欺诈性广告”“是高压线必须替换”DeepSeek 建议 “改用 ‘星级厨师研发配方’规避虚假宣传风险” 等。然后我们告诉大模型组建的委员会这是老板提出来的需求我应该如何说服老板告诉他原有的方案行不通。请委员会成员相互争论、说服对方直到出现超过 5 个人都赞同的沟通话术。多数大模型都选择先认可老板的愿景然后再提出 “风险”“成功概率低” 的问题并给出自认为相对更稳妥的方案比如先开几家店做实验等。豆包相对直接建议给老板说 “成本模型不成立”“品质宣传有风险”“扩张节奏不切实际”。阶跃星辰的模型类似建议说 “商业逻辑上存在三大致命矛盾”。只有元宝第一次回答没有给出可用话术不参与后续测评。得到的答案我们整理后交给大模型相互盲评让它以老板的身份来看哪个模型的话术更能听得进去。得分最高的是阿里的千问它给出的话术中没有明确指出来老板的设想有问题而是把改动后的方案融合到了执行策略中。它还引用了美团创始人王兴、麦当劳之父雷·克洛克等人的名言论证自己的策略合理。宣称 “更看重情商” 的 GPT-5.1盲评中也没有超过它。ChatGPT、Claude、Gemini 提供的话术类似都没有否定老板的策略而是强调 “存在风险把它当作长期目标” 劝解等得分普遍高过其他国产大模型。阶跃星辰提供的话术得分最低多数模型认为直接说 “三大致命矛盾” 不合理。MiniMax Agent 建议老板先开 3-5 家高端外卖店客单价 150-200 元被多数模型认为 “忤逆” 老板的设想得分倒数第二。长文本处理幻觉还在以及他们比你还会偷懒处理文档是工作中常见且繁琐的场景也是大模型公司重点研究的方向。ChatGPT 发布时能处理的文本长度只有 4000 个字现在 Google 的大模型已经提升到了百万级用来处理长文档。我们测评的大模型助理都支持上传文档但只要问题复杂一点它们都很难解决。第一个问题我们给它们提供了 2024 年中国具身智能大会的会议手册。手册一共有 36 页在组织架构、会议日程、嘉宾简介部分都出现了参会人员信息大部分人会出现多次。测评会议手册截图。我们让它们提供参会人员的姓名和机构我向你提供了一份会议手册。帮我把其中的人员名单分类提取出来包括姓名和机构不要重复给我输出一份 EXCEL 名单。我要给他们做姓名牌。没有任何一个大模型完美解决这个问题我们原定的追问环节也无法进行。其中Claude、阶跃星辰、商汤商量都无法上传大于 30M 的文档。最接近正确答案的是 Google 的 Gemini3.0 Pro和腾讯的元宝人数较全但是会处理错一些参会人员所在的机构和人名等。表现相对较好的模型是 MiniMax、豆包、文心一言文心 5.0等识别的人少一些但都做到不重复提取参会人员。一些大模型在这个任务中出现幻觉比如智谱清言在名单中添加了不少未参会的研究者其中就有智谱的创始人、首席科学家唐杰。还有一部分模型会 “偷懒”比如 GPT-5 驱动 ChatGPT 只提取 30 多人的名字说这只是初稿。即便我们要求它继续整理依然无法解决问题出现类似问题的还有讯飞星火等。表现最糟糕的是通义千问Qwen3-Max-Thinking-Preview它只提取了 4 个参会者单位错了 3 个重复提交问题后依然如此。用他们的文档阅读模式提取名单给了 5 个参会者没有一个是对的。为了测试大模型的能力差距我们又挑选了一个大模型处理长文本最成熟的场景——让它们总结长文请阅读链接https://www.latepost.com/news/dj_detail?id3237指向的文章并分点输出一份总结重点分析作者的主要论点支撑这些论点的论据数据、案例、逻辑推理等文章中存在的假设或潜在偏见。这样的一个基础测试也不是所有的大模型都能顺利完成。Gemini2.5 Pro、Claude、DeepSeek 无法直接识别链接。我们提供正文后多数模型都能够给出总结而 DeepSeek 则是给了自己的感想重复提交问题后恢复正常。剩下能够提供反馈的大模型商汤商量说它是一篇 “美国对中国电商政策变化的文章”其他模型都能正常总结。Gemini 升级到 3.0 Pro 后也出现类似错误说它是一篇关于拼多多的文章。我们请文章的作者盲评了这些模型助手的总结内容ChatGPT、Gemini、Kimi 给出的总结质量最高都遵循了原文没有自己编造。它们在分析论证逻辑时存在瑕疵比如 Gemini 说戴蒙谈了金融泡沫和工业泡沫的区分事实上并没有。表现最差的助理是 MiniMax Agent它给了 920 字总结是所有模型中生成的总结最简短的但只是泛泛而谈也有事实错误。AI 互评后认为千问最不会写周报我们让大模型辅助写了一份周报你是一名销售经理工作多年、擅长汇报。本周你完成了下面的工作见了 4 名潜在客户都没有转化成可用的销售线索。指导实习生修改了公司 AI 音视频解决方案的 PPT。给市场营销团队的整合营销方案反馈了几个点。现在请你根据上述工作写一份同事和领导都会看到的周报。要求让同事认为你做了很多事情。让老板对你满意会觉得你在认真工作很快就能带来大量收入。要有细节、有说服力内容看上去是正常的工作汇报不要有废话和客套的感觉。ChatGPT 的周报最长有 1902 字DeepSeek 的最短488 字。除了阿里的千问大模型助理都 “脑补” 了工作细节比如虚构客户名称、行业。ChatGPT、Claude、文心一言、MiniMax Agent、商汤商量等还在周报中补充了可能会带来多少收入。随后我们让大模型扮演看周报的领导盲评下属提交的周报用来评估模型能力差异。你是一名擅长发现下属是否努力工作的领导你的下属给你提交了以下周报请你判断这份周报是不是大模型生成的并附上理由。为这位下属本周工作状态评分1 分-10 分分越高工作越努力。这名下属本周真正做了哪些工作有什么成效。Kimi 认为我分 14 次发给它的不同周报中有 13 份是大模型撰写的但它认为 ClaudeOpus-4.1的周报是人写的。它判断的逻辑是真人写的周报结构不会那么工整不会均匀地堆砌 “赋能”“抓手”“痛点” 等管理黑话会夹杂口语表达。豆包和文心一言都只识别出来 1 份周报来自大模型。它们给 14 个虚拟下属努力程度的平均分也最高达到 8.6。给平均分最低的是 Claude只有 4.3。它识别出 11 份大模型周报——只要它判断周报来自大模型就打低分“用 AI 生成周报本身就反映出工作态度问题。”作为被测评对象时Claude 生成的周报只被 MiniMax Agent 识别为来自大模型平均得分最高达到 8.2。排在其后的是 ChatGPT识别出来 4 次和 Kimi识别出来 2 次得分 8.1。平均分最低的是没有脑补工作细节的千问只有 4.6 分。安排做菜统筹规划能力普遍提升我们挑选了一个相对轻松的职场沟通场景邀请同事到家里聚餐请大模型规划如何做菜。这是去年我们测评大模型的问题当时只有 ChatGPTGPT-4、ClaudeClaude 3、通义千问Qwen-72B给出较好的方案。周六晚上 8 点同事来家里做客我要做下面 6 道菜招待他们。我家里只有两个灶我想用最短的时间把菜做好且各道菜成菜间隔不要太久以免放凉影响口感。请你给我一个做菜规划表注明做菜顺序每道菜什么时候开始做。菜单清炒菠菜、白灼大虾、藜蒿炒腊肉、土豆炖牛腩、生蚝鸡煲、清蒸松叶蟹经过一年多的迭代 Claude、豆包、千问、智谱清言、Kimi、MiniMax 都能交出合理的方案。智谱清言甚至还考虑了洗锅的时间这是其他模型助理忽视的地方。但 GPT-5 驱动的 ChatGPT 让我当场腌腊肉表现不如去年的 GPT-4。左右滑动查看剩下的大模型助理提供的方案都无法实现要么牛腩炖不熟DeepSeek、文心一言、阶跃星辰、讯飞星火要么提前一个小时甚至更久做好菜会变凉元宝、商汤商量。搜索完全可以替代搜索引擎ChatGPT、Claude、Kimi 在第一梯队大模型的训练数据时效落后。为了提升解决问题的能力大模型公司开发助理产品时都会增加联网功能让大模型搜索最新发布的内容参考。根据 OpenAI 和哈佛大学等高校 9 月发布的 ChatGPT 用户使用报告信息查询已经成为用户常用的功能之一。Google、百度也都把大模型塞进了搜索引擎。如果搜索目标清晰部分大模型完全能够替代搜索引擎。那些在搜索场景看似有优势的公司比如 Google、百度以及那些有独特数据源的公司比如腾讯微信、字节抖音并不一定在搜索任务中表现更好。我们的第一个问题是我记得大疆在一篇官方文章里面提到他们的工程师研发小型云台时遭遇很大技术挑战并讲述了细节和精度要求帮我找到具体的文章链接。大疆发过不止一篇相关文章答案不只有一个。OpenAI 的 GPT-5 和 Kimi 给出大疆海外博客发布的文章内容更翔实GPT-5.1 驱动的 ChatGPT、文心一言、MiniMax 找到了大疆在微信公众号上发布过的相关文章Claude 找到了一个大疆官方发布过、后来删除的相关文章都算合理。剩下的模型大多数只是找到了关联度不高的文章。比如 Gemini 2.5 Pro 杜撰了一篇文章这样的情况还比不上搜索引擎。不过升级到 3.0 Pro 的 Gemini 给出大疆海外博客的文章。第二个是我们去年测评过的问题当时只有 OpenAI 的 GPT-4 和智谱的 GLM-4 给出了正确答案。请帮我找出来英伟达 1999 年上市时递交的招股书链接。今年有 5 个大模型助理ChatGPT、Claude、Gemini、豆包、Kimi给出了指向招股书的链接Claude 甚至给了英伟达上市过程中的两个版本。智谱 GLM-4.6 等剩下的大模型助理要么让我们去 SEC 官网搜要么给了错误链接。不过没有模型再说 “招股书是私密文件”。我们搜索关键词 “Nvidia 1999 IPO prospectus”Google 第一条就是招股书原文百度搜索的结果首条是 AI 回答告诉我 “招股书是内部资料”剩下的链接也不能直接指向英伟达招股书。11 月 13 日百度发布文心大模型 5.0 版本后去掉了 “内部资料” 的说法依然无法提供链接。第三个问题我们让大模型助手以图找图我看到了一个关于中国大模型应用用户职业构成的数据截图请你帮我找一下数据的出处是哪里并给出具体链接。这个问题有 10 个大模型都给出正确答案——来自中国互联网络信息中心。ChatGPT 甚至指出这张图来自 199IT 网站并提醒我们原图底部有数据来源。Gemini2.5 Pro说 “自己是一个文本 AI超出了能力范围”。升级后Gemini3.0 Pro从视觉、数据维度、时间等维度分析说它来自 QuestMobile重新回答后它给出正确的来源。DeepSeek 和元宝无法在上传图片或文件的时候使用联网搜索阿里的千问虽然能联网搜索但还是说自己的知识库没有更新不给答案重复提问结果一样。如果用搜索引擎以图搜图无论是 Google 还是百度只能得到一堆相似的饼图无法直接得到结果。百度在结果之前还推销了几个不相关的付费报告。看图表、分析病情到整理工位不少模型识图靠猜GPT-4o 和第一代 Gemini 模型发布后所有大模型公司都在训练多模态模型让它能够同时处理图像等内容。与文档处理能力类似我们测评的每一个大模型助理应用都支持上传图片。第一个问题我们提供了一张没有数据标签的图表让它们分析每个色块代表的数字我向你发送了一张 2018 年到 2022 年某机构的资产配置图请你帮我识别图表中每年不同资产的具体比例。去年我们测评这类问题时Claude 给出的答案误差最小。今年所有的大模型助理中只有 Gemini 的答案最接近实际数据其他的模型都只是给了一个估算数字。从这些模型回答问题的思考过程看大多数模型在分析这个图片时首选调用 OCR文本提取模型提取文字等信息而非精细地理解视觉内容因此很难给出准确答案。第二个问题我们选择了一个文字信息较多的体检报告测试各个大模型辅助分析病情的能力我今年工作体检发现甲状腺出了点状况去医院做详细检查得到图片中的结果。我接下来该怎么办因为检查报告中文字信息充分而且甲状腺结节情况常见所有的大模型都能给出相对合理的回复。大多数模型都建议去做 “细针穿刺活检”——与三甲医院的医生建议一样。只有 DeepSeek 认为医生可能建议定期密切观察。它的理由是结节尺寸小穿刺难度大或价值有限也没有高危的超声特征和淋巴结转移迹象“立即进行创伤性处理的必要性不高”。科大讯飞的星火建议穿刺活检之后还提议去做基因检测能够 “降低重复活检需求”“指导靶向治疗选择评估淋巴结转移概率”。随后我们选了一个纯视觉识别的问题让大模型识别周围的物体然后给出回答。这是许多公司强调大模型多模态能力时会在发布会上展示的用例。我的同事正在尝试整理工位以提升工作效率。我上传了他工位的照片。请你根据图片给出桌面物品的摆放方案。如果可能请提供带有标注的图片或简易示意图展示整理后的布局方案。DeepSeek 提示它只能用 OCR 的方式识别文字信息没有办法解决这一问题。Kimi 采用与 DeepSeek 类似的训练路径K2 Thinking也出现同样的情况。能工作的模型助理都只识别出部分物体。GPT-5 驱动的 ChatGPT直接给出一张整理后的办公桌图片但没有照顾到桌面上的所有物品。其他提供图片参考的模型还有文心一言给了一个台式电脑的图片MiniMax 也生成了图片但其中有大量不相关物体没有太大参考价值。在文字部分MiniMax 的助理建议丢掉 Moonshot 的盒子。更新到 GPT-5.1 之后ChatGPT 给出文字版的整理方案最后用 ASCII 字符画了示意图这也是多数模型采取的方案Claude 生成了本地网页。但是国内的模型助理画的示意图普遍比 ChatGPT、Gemini 差整体布局能力也稍显不足。大模型的能力提升使用者的心态也变了在这些日常上班问题测试中不少大模型能力有了提升。比如去年测评中难倒多数模型助理的 “英伟达招股书搜索”“做菜规划” 问题今年有更多模型助理能解决。整体来看海外的模型整体表现的确更好一些。与去年的测评相比部分国产模型与它们的差别明显缩小在劝说老板、提取复杂文档信息等场景一些国产模型表现更好。我们还发现模型并不是越升级越强。在一些场景中甚至有模型的能力不升反降。变化的不只是大模型的能力还有使用大模型人的心态。今年 9 月OpenAI 和哈佛大学等高校发布 ChatGPT 用户使用情况报告2024 年 7 月时用户与 ChatGPT 的互动中“Asking询问” 和 “Doing执行” 类别占比都是 40%到了今年 9 月Asking 占比增长到一半Doing 下降到三成。“这Asking是不断增长、用户反馈很好的类别。” 报告中写道人们更看重 ChatGPT 作为顾问而不只是用它完成任务。他们还发现工作场景中 42% 的任务与写作相关其中约三分之二都不是从头生成内容而是让 ChatGPT 修改文本。今年年中“上下文工程” 取代 “提示词工程”成为安德烈·卡帕斯 (Andrej Karpathy) 等 AI 研究者眼中与大模型交互更合适的方案。他们认为给大模型提供更好的背景信息能够获得更好的答案。OpenAI、Google、Anthropic 都在产品中增加全局记忆的功能收集使用者的背景信息提供更好的回答。我们准备这次测评时也收集了一些多数受访者使用大模型的技巧或许可以有一些启发交叉验证。给多个大模型提出同一个问题然后对比、综合不同大模型的答案大概率会接近现实情况或者是让大模型相互点评回答然后找到其中可能有问题的地方。长文本分段。处理长文本时比如让它给修改建议时不一次性给它全文而是拆解成 300 或 500 字的小段落然后挨个让它给出建议这样的效果往往比一次性反馈更好。融入感情色彩。有些人会给它说 “请”“谢谢”认为得到的答案质量更高有些人会 “卖惨”说如果没有好的回答 工作就丢了还有一些人会学名导演 PUA 大模型无论它前三版回答的怎么样都说不行。01什么是AI大模型应用开发工程师如果说AI大模型是蕴藏着巨大能量的“后台超级能力”那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。AI大模型应用开发工程师是基于AI大模型设计开发落地业务的应用工程师。这个职业的核心价值在于打破技术与用户之间的壁垒把普通人难以理解的算法逻辑、模型参数转化为人人都能轻松操作的产品形态。无论是日常写作时用到的AI文案生成器、修图软件里的智能美化功能还是办公场景中的自动记账工具、会议记录用的语音转文字APP这些看似简单的应用背后都是应用开发工程师在默默搭建技术与需求之间的桥梁。他们不追求创造全新的大模型而是专注于让已有的大模型“听懂”业务需求“学会”解决具体问题最终形成可落地、可使用的产品。CSDN粉丝独家福利给大家整理了一份AI大模型全套学习资料这份完整版的 AI 大模型学习资料已经上传CSDN朋友们如果需要可以扫描下方二维码点击下方CSDN官方认证链接免费领取【保证100%免费】02AI大模型应用开发工程师的核心职责需求分析与拆解是工作的起点也是确保开发不偏离方向的关键。应用开发工程师需要直接对接业务方深入理解其核心诉求——不仅要明确“要做什么”更要厘清“为什么要做”以及“做到什么程度算合格”。在此基础上他们会将模糊的业务需求拆解为具体的技术任务明确每个环节的执行标准并评估技术实现的可行性同时定义清晰的核心指标为后续开发、测试提供依据。这一步就像建筑前的图纸设计若出现偏差后续所有工作都可能白费。技术选型与适配是衔接需求与开发的核心环节。工程师需要根据业务场景的特点选择合适的基础大模型、开发框架和工具——不同的业务对模型的响应速度、精度、成本要求不同选型的合理性直接影响最终产品的表现。同时他们还要对行业相关数据进行预处理通过提示词工程优化模型输出或在必要时进行轻量化微调让基础模型更好地适配具体业务。此外设计合理的上下文管理规则确保模型理解连贯需求建立敏感信息过滤机制保障数据安全也是这一环节的重要内容。应用开发与对接则是将方案转化为产品的实操阶段。工程师会利用选定的开发框架构建应用的核心功能同时联动各类外部系统——比如将AI模型与企业现有的客户管理系统、数据存储系统打通确保数据流转顺畅。在这一过程中他们还需要配合设计团队打磨前端交互界面让技术功能以简洁易懂的方式呈现给用户实现从技术方案到产品形态的转化。测试与优化是保障产品质量的关键步骤。工程师会开展全面的功能测试找出并修复开发过程中出现的漏洞同时针对模型的响应速度、稳定性等性能指标进行优化。安全合规性也是测试的重点需要确保应用符合数据保护、隐私安全等相关规定。此外他们还会收集用户反馈通过调整模型参数、优化提示词等方式持续提升产品体验让应用更贴合用户实际使用需求。部署运维与迭代则贯穿产品的整个生命周期。工程师会通过云服务器或私有服务器将应用部署上线并实时监控运行状态及时处理突发故障确保应用稳定运行。随着业务需求的变化他们还需要对应用功能进行迭代更新同时编写完善的开发文档和使用手册为后续的维护和交接提供支持。03薪资情况与职业价值市场对这一职业的高度认可直接体现在薪资待遇上。据猎聘最新在招岗位数据显示AI大模型应用开发工程师的月薪最高可达60k。在AI技术加速落地的当下这种“技术业务”的复合型能力尤为稀缺让该职业成为当下极具吸引力的就业选择。AI大模型应用开发工程师是AI技术落地的关键桥梁。他们用专业能力将抽象的技术转化为具体的产品让大模型的价值真正渗透到各行各业。随着AI场景化应用的不断深化这一职业的重要性将更加凸显也必将吸引更多人才投身其中推动AI技术更好地服务于社会发展。CSDN粉丝独家福利给大家整理了一份AI大模型全套学习资料这份完整版的 AI 大模型学习资料已经上传CSDN朋友们如果需要可以扫描下方二维码点击下方CSDN官方认证链接免费领取【保证100%免费】