面向新一代硬件，CANN技术架构的变与不变

当前人工智能正以前所未有的速度渗透千行百业推动 AI 算力需求呈指数级增长算力已成为人工智能产业发展的核心竞争力。在此背景下昇腾推出新一代 AI 芯片 Ascend 950PR 与 Ascend 950 DT。两款芯片在继承上一代优秀能力的基础上围绕计算、通信等关键维度实现多项技术突破涵盖 NDDMA、CV 融合、SIMT、UB、CCU 等创新特性大幅提升了大模型训练与推理、推荐、多模态等核心业务场景的性能与竞争力。本次直播将从芯片架构、计算与通信规格、关键新特性等维度对 Ascend 950PR 和 Ascend 950 DT 进行全面、深入、细致的解析。一、新一代硬件架构和总体规格Ascend 950 PR和Ascend 950 DT都是基于Ascend 950系列的芯片架构它们共用了Ascend 950 Die。与前一代昇腾芯片相比Ascend 950 在以下几个方面实现了根本性提升。新增支持业界标准FP8/MXFP8/MXFP4等低数值精度数据格式并特别支持华为自研的HiF8提升训练效率和推理吞吐。大幅度提升了Vector算力。1) 提升Vector算力占比2) 采用创新的SIMD/SIMT新同构设计3) 把内存访问颗粒度从512字节减少到128字节内存访问更精细从而更好地支持了离散且不连续的内存访问。基于不同业务对于算力、内存、访存带宽的不同需求搭配了自研的HiBL 1.0和HiZQ 2.0。Ascend 950 Die通过合封HiBL 1.0和HiZQ 2.0分别构成面向Prefill和推荐场景的芯片Ascend 950PR以及面向Decode和训练场景的Ascend 950DT。互联带宽相比上一代芯片大幅提升最大可支持2TB/s的带宽且同时支持UB、PCIE、UBOE多种通信模式二、核的微架构改进提升极致性能和开发易用性在人工智能技术飞速发展的今天大型语言模型LLM、多模态AI等复杂任务对计算硬件提出了前所未有的挑战。昇腾AI芯片最新发布的第三代DaVinciCore架构凭借革命性的硬件创新与软件协同优化不仅将AI计算性能推向新高度更在开发者体验和能效比上实现质的飞跃。1、算力革命低精度计算混合架构性能提升4倍传统的AI芯片往往受限于计算精度与数据搬运效率而第三代DaVinciCore通过全栈数值格式创新彻底释放低精度计算的潜力● HiF8/FP8/MXFP8/MXFP4全新设计的动态位宽浮点格式在保证精度的同时大幅降低存储与带宽需求。以HiF8为例其采用变长前缀编码原码阶码优化动态范围接近FP16-22~15但计算效率提升2~4倍尤其适合LLM训练与推理。HiF8阶码分布图锥形精度图● 张量-向量协同计算Cube核张量计算峰值算力达上一代倍Vector核向量计算FP16/FP32性能翻倍二者通过高速直连通道实现数据无缝流转彻底解决传统AI芯片在混合计算如FA任务中的瓶颈问题。增加核内CV直连高速通路示意图2、开发体验革新第三代DaVinciCore引入多项“黑科技”级编程优化● SIMD/SIMT混合编程开发者可自由选择并行模式——规则计算用SIMD双发指令榨干硬件性能复杂逻辑如多条件分支/小包搬运等场景切至SIMT线程级并行代码可读性与执行效率兼得。SIMT离散访问示意图● NDDMA指令传统数据搬移需硬件地址计算访存合并如今只需一行NDDMA指令(transpose,stride,broadcast,slice)硬件自动完成格式转换、对齐、分块效率提升50%以上。NDDMA指令能力示意图● 极简同步机制BufferID模型取代繁琐的set/wait配对消除分支逻辑让多核协作代码更直观、更健壮。新同步机制代码示例3、算子模板数量大幅减少访存能力持续优化● L2 Cache支持128B Sector访存颗粒度相比上一代的512B-128B小包场景4x带宽效率数据访问GM支持多种L2 Control Hint。non-allocate(L2 hint)典型使能场景示意图● ND2NZ支持Advance模式对Stride在不大于256B的场景都支持并包处理。基于灵衢总线构建大规模超节点集群Ascend 950提供比前代芯片更高的连算比搭载先进的灵衢总线技术构建Ascend 950超节点集群能够大幅降低通信时延、提升算力效率有效破解大规模 AI 集群的通信瓶颈。灵衢总线UBUnifiedBus简称UB是面向新一代智算集群打造的新型互联协议是华为破解算力瓶颈、共建开放生态的重要布局。灵衢总线以“协议归一、平等协同、全局池化”为核心打破了传统互联的层级壁垒让CPU、NPU、存储等异构组件实现无主从直接通信并大幅降低通信时延、提升带宽利用率。华为已开放灵衢2.0完整技术规范推动产业协同创新。未来灵衢将持续演进突破更大规模组网能力携手产业伙伴构建自主可控、高效可靠的算力底座。灵衢总线提供分层的协议栈结构从下到上由物理层、数据链路层、网络层、传输层、事务层、功能层以及UMMU、UBFMUB Fabric Manager组成如下图所示。其中Entity为功能实体是全局通信的基本单元URMAUnified Remote Memory Access为统一远程内存访问。灵衢协议栈Ascend 950围绕超节点架构持续创新将多台物理机器深度互联重新定义了高效、稳定、可扩展的大规模有效算力新范式并打造全系列超节点产品。Ascend 950以灵衢总线为基础构建的超节点架构在面向人工智能计算的多个核心业务场景如大模型预训练、中心推理、后训练与强化学习、多模态内容等业务领域均可提供领先的系统能力带来计算业务性能和资源利用率提升。基于灵衢的超节点参考架构B站/微信视频号搜索【昇腾CANN】观看直播期待你的观看~点击预约直播https://www.bilibili.com/opus/1179251767286693911?spm_id_from333.1387.0.0