智谱GLM-5.1实测

智谱在GLM-5发布不到两个月后迅速推出了迭代版本GLM-5.1。官方将其定位为面向长程任务的开源第一模型核心升级方向集中在代码工程能力和长程Agent任务上——GLM-5.1能够在单次任务中独立、持续工作超过8小时在SWE-Bench Pro等代码基准上取得了全球模型第三、开源模型第一的成绩。我们对其API版本GLM-5.1进行了全面评测测试其在准确率、响应时间、token消耗和花费等关键指标上的表现。需要说明的是本次评测侧重中文场景下的综合能力考察。GLM-5.1此次迭代的核心发力点——8小时级长程代码工程、SWE-Bench Pro实战修Bug、从零构建完整代码仓库等能力在当前评测框架中并未得到充分体现。对这些能力感兴趣的读者可参考文末的官方评测数据获得更全面的了解。GLM-5.1版本表现测试题数约1.5万总分准确率74.2%平均耗时每次调用183s平均token每次调用消耗的token3241平均花费每千次调用的人民币花费73.81、新旧对决对比上一代版本GLM-5GLM-5.1在多个维度上实现了能力提升但也伴随着响应时间和成本的上涨数据如下*数据来源非线智能ReLE评测https://github.com/jeinlee1991/chinese-llm-benchmark*输出价格单位 元/百万token整体性能提升新版本准确率从71.0%提升至74.2%提升了3.2个百分点排名从第19位升至第4位进入榜单头部。推理与数学计算提升幅度最大从73.6%提升至82.8%9.2%这一维度的进步最为突出与GLM-5.1主打的深度推理方向高度一致。Agent与工具调用显著增强从64.2%提升至71.7%7.5%与官方强调的长程Agent任务能力形成呼应。法律与行政公务稳步提升从79.3%提升至81.7%2.4%属于小幅改善。教育领域略有提升从59.0%提升至61.1%2.1%。金融与医疗保持稳健金融从83.2%提升至85.2%2.0%医疗与心理健康从85.7%提升至86.6%0.9%均保持了较高水准。语言与指令遵从出现回调值得注意的是该维度从67.6%下降至62.2%-5.4%是唯一出现下降的领域。这可能与模型在强化推理链路时在指令格式遵从上产生了一定的权衡取舍有关。响应时间明显延长平均耗时从130s增加至183s增幅约41%。Token消耗与成本分析平均Token消耗从3569降至3241减少了约9.2%但输出价格从18.0元/M token上调至24.0元/M token33.3%导致每千次调用的费用从61.2元增加至73.8元成本上涨约20.6%。2、横向对比在当前主流大模型竞争格局中GLM-5.1作为智谱最新开源旗舰模型表现如何我们从三个维度进行横向对比分析*数据来源非线智能ReLE评测https://github.com/jeinlee1991/chinese-llm-benchmark同成本档位对比中高成本区间的竞争力在花费60至80元/千次的区间内GLM-5.1以74.2%的准确率和73.8元的花费位列该档位的领先位置。同档位的Kimi-K2.5-Thinking71.3%77.1元在准确率上低了2.9个百分点且花费略高。GLM-571.0%61.2元作为上一代版本虽然花费更低但准确率存在3.2个百分点的差距。向上看——更高成本档位gpt-5.1-high69.7%180元和claude-opus-4.670.5%96.5元虽然花费更高但在当前中文场景下的准确率反而不及GLM-5.1这在一定程度上体现了GLM-5.1在中文综合能力测试中的竞争力。向下看——更低成本档位值得关注的是GLM-4.771.5%52.5元以更低的花费提供了与GLM-5.1相差不大的准确率。而Doubao-Seed-2.0-pro76.5%22.5元和qwen3.5-plus74.6%22.9元则在远低于GLM-5.1的成本水平上实现了相近甚至更高的准确率成本效率比优势明显。新旧模型对比智谱产品线梯队清晰GLM-5.174.2%第4位领衔GLM-5-Turbo71.5%第17位和GLM-571.0%第19位紧随其后GLM-4.771.5%第15位作为上一代产品仍保持竞争力GLM-4.668.1%第36位则定位于入门级。从GLM-5到GLM-5.13.2个百分点的提升和15个名次的跃升此次迭代在中文综合能力上取得了实质性的进步。对比其他厂商的新模型GLM-5.174.2%超过了ERNIE-5.070.9%、DeepSeek-V3.2-Think70.9%等厂商近期发布的新模型但与榜首的Doubao-Seed-2.0-pro76.5%仍有2.3个百分点的差距与qwen3.5-plus74.6%基本处于同一水平线。榜单头部格局当前榜单前四位分别为Doubao-Seed-2.0-pro76.5%、gemini-3.1-pro-preview74.8%、qwen3.5-plus74.6%和GLM-5.174.2%头部竞争极为激烈四者之间的差距仅为2.3个百分点。开源VS闭源对比开源阵营的新标杆GLM-5.1以74.2%的总分位列开源模型第二仅次于qwen3.5-plus74.6%。两者差距仅0.4个百分点共同构成了开源阵营的第一梯队。对闭源模型的施压从总分来看GLM-5.1已经超过了多个闭源商用模型包括gemini-3-pro-preview72.5%、gpt-5.4-high72.6%、claude-opus-4.670.5%、gpt-5.1-high69.7%等。开源模型在中文综合能力上对闭源模型的追赶态势已十分明显。3、官方评测GLM-5.1此次迭代的核心升级集中在代码工程能力和长程Agent任务两个方向以下为官方公布的Benchmark数据。编码能力官方选取了业内最具代表性的三个代码评测基准进行综合评估GLM-5.1取得全球模型第三、国产模型第一、开源模型第一的成绩。具体来看SWE-Bench Pro衡量模型在真实GitHub仓库中定位并修复高难度工程Bug的能力。GLM-5.1得分58.4全球最高超过GPT-5.457.7和Claude Opus 4.657.3。NL2Repo要求模型根据自然语言描述从零构建完整代码仓库测试系统级工程能力。GLM-5.1得分42.7对比GLM-5的35.9提升19%。与Claude Opus 4.649.8仍有7分差距。Terminal-Bench 2.0让模型在真实终端环境中解决系统管理、运维和开发任务。GLM-5.1得分63.5对比GLM-5的56.2。CyberGym网络安全编码基准要求完成渗透测试、漏洞分析等安全工程任务。GLM-5.1得分68.7对比GLM-5的48.3提升42%是进步最大的单项。智能体能力BrowseComp测试模型通过自主浏览网页解决复杂信息检索问题的能力。GLM-5.1带上下文管理得分79.3。τ³-Bench在模拟客服场景中测试对话式Agent的双向控制能力。GLM-5.1得分70.6。MCP-Atlas衡量模型在多步骤工作流中调用外部工具MCP服务器的能力。GLM-5.1得分71.8。Vending Bench 2让模型经营一年的模拟自动售货机生意测试长期规划和资源管理。GLM-5.1最终账户余额$5634.41对比GLM-5的$4432.12。与Claude Opus 4.6$8017.59仍有明显差距。长程任务能力GLM-5.1的核心差异化在于长程任务的执行能力。在METR榜单的同等评估标准下GLM-5.1是唯一达到8小时级持续工作的开源模型。官方展示了三个典型场景8小时从零构建Linux桌面系统、655次迭代优化向量数据库查询吞吐从3108 QPS提升至21472 QPS、1000轮工具调用优化50个真实机器学习模型负载达到3.6倍加速比。目前所有大模型评测文章在公众号大模型评测及优化NoneLinear