AI系统-21AI芯片之NoC总线

在大型SoC芯片特别是AI SoC中存在多个异构核子系统非常的大和复杂。对应芯片设计中一个重要的技术就是NoC要想富先修路NoC就是通信的路。而且SoC把很多硬件模块集成到一个芯片上就是为了让路好走高效的连接非常重要路会四通八达又短又好。为什么NoC比较重要众多的SoC设计团队从Arm、Synopsys和Cadence等公司获得IP模块的授权许可SoC设计趋向于同质化。实现SoC差异化设计的关键在于架构师如何选择和连接这些IP模块以满足他们的系统级要求。随着SoC中IP数目的增加异构核大SoC的出现IP间高带宽低功耗可扩展通信的需求。传统的总线方式已经无法满足。NoCNetwork on chip借鉴了分布式计算机通信方式利用路由和分组交换技术来代替传统总线来提供更加灵活的IP间通信方式。目前的芯片设计中AI是个主旋律在SoC集成AI功能的过程中原有的框架需要大变一切都是以AI为基础重新设计。NPU的设计就是为了提供数据吞吐量瓶颈就是数据流必须使用最快的方法让数据从DDR到近存的SRAM中供NPU PE去运算。1. NoC介绍1.1 NoC的诞生上图是芯片内部的互联技术演进。共享总线**** 共享总线(如ARM的AMBA总线和IBM的CoreConnect总线)是SoC中常用的通信机制。它们支持使用标准接口并允许 IP 重用的模块化设计方法但随着系统带宽需求的扩大和资源的争夺共享总线结构成为性能瓶颈。分层总线**** 分层总线涉及使用多个总线或总线段来减轻主总线上的负载。这种层次结构允许同一总线段上的模块之间进行本地通信而不会导致总线其余部分拥塞。这种方法的缺点是降低了灵活性和可扩展性并且设计过程很复杂。连接到总线上的内核越多实现时间收敛和服务质量的难度就越大。总线矩阵**** full crossbar系统是片上总线通信的替代方案。不过随着参与系统数量的增加线路的复杂性可能会超过逻辑部分。当进行系统升级时接口设计会受到影响所有连接模块都会受到影响。尽管受益于亚微米技术计算和存储使用更小的逻辑单元和内存但通信的能量并没有按比例减少。相反串扰效应、电迁移和互连延迟对时序收敛会产生负面影响。上面这些技术存在的一些问题可扩展性差SoC中各物理模块在芯片上的位置是相对固定的。一旦在物理设计完毕后要进行修改实际上就有可能是一次重新设计的过程。另外由于总线架构固有的仲裁通信机制即同一时刻只能有一对处理器核心进行通信限制了可以在其上扩展的处理器核心的数量。平均通信效率低从整体来看一个模块取得总线仲裁权进行通信时系统中的其他模块必须等待直到总线空闲。-单一时钟同步问题单一时钟频率较高造成功耗增大。面对这些问题一个简单的思路单独设立一个部门来攻关既然各个IP直接通信怎么连接都会杂乱无章那就加一个IP路由器类似功能这个IP专门负责通信资源的分配和保障。由于其是独立的IP还可以动态的进行配置解决所有问题。大力出奇迹哪里薄弱就加结构给资源有时就是这么简单粗暴的解决问题。尽管复杂度上升了但是高科技哪有不复杂的一个飞机一个光刻机都需要多少个零件。一个SoC也是有无数的IP但是技术就是牛。1.2 NoC的定义NoC总线全称为Network on Chip片上网络总线是一种为片上系统SoC提供高效通信方式的片上通信架构。它采用类似计算机网络的设计思想将片上系统内部的各个处理器、存储器、I/O等单元连接起来形成一个可重构的、高效的、灵活的通信网络。NoC总线作为一种先进的片上通信架构为SoC系统提供了高效、可扩展、低功耗和低延迟的通信解决方案。随着半导体工艺技术的进步和芯片集成度的提高NoC总线将在未来的人工智能、物联网、自动驾驶、数据中心等新兴领域发挥更加重要的作用。NoC总线的主要特点和优势高效通信NoC采用数据路由和分组交换技术通过片上路由器将各个处理单元如处理器核心、内存、外设等连接起来形成一个基于网络的通信子系统。支持多个通信流在链路上进行多路复用提高了数据传输效率和通信带宽。可扩展性NoC的设计具有良好的可扩展性当系统需要升级或扩展新功能时只需将新增的处理器核通过网络接口接入到网络中的路由节点即可无需重新设计整个网络。低功耗在NoC中信息交互消耗的功耗与进行通信的路由节点之间的距离密切相关。相较于总线结构NoC可以减少裸片面积使用更少的布线在短距离通信时能够显著降低功耗。特别是目前大量IP进入大型SoC布线会非常的多。当通路不需要大带宽时可以进入节能模式。低延迟NoC通过优化路由算法和流控机制减少了数据传输的延迟提高了系统的实时性。信号完整性和可靠性NoC采用分布式计算系统的通讯方式避免了长距离全局并行总线引起的串扰噪声和信号延迟问题提高了信号的完整性和传输的正确性。计算和通信分离传统总线中IP承担计算和通信的双重任务。NoC把通信任务交给了路由器IP只需要提供数据放入buffer就可以了。1.3 NoC总线的组成借鉴计算机网络NoC总线主要由三部分网络适配器、网络链路、路由器构成其与IP核链接给IP核提供通信服务。IP核是SoC中的基本处理单元负责执行特定的计算或控制任务。路由器实现通信协议负责数据包的路由和转发。路由器的作用是负责接收来自不同节点的数据然后根据预先定义的路由算法将数据转发到目标节点。路由器还包含一个逻辑块实现流控制策略(路由、仲裁器等)并定义通过NoC移动数据的总体策略。网络适配器在网络接口NI和IP核之间建立逻辑连接实现数据包的封装和解析。IP的接口多样这里进行数据统一。网络链路连接各个路由器和IP核的物理通道负责数据的实际传输。链路是路由器之间传输数据的物理通道可以是电气信号线、光纤、无线信号等。链路的带宽和延迟是影响NoC性能的重要因素因此链路的设计需要充分考虑数据传输的速度和可靠性。NoC其实有软件硬化的一个思路操作系统中的路由器、防火墙软件可以实现互联网上数据的传输积累了丰富的通信经验。芯片中IP的模块化IP间的通信要求的速度更加的快速但是功能要求越来越复杂就需要像软件一样灵活的通信方法这样路由器的软件思路就变成了硬件实现所以就是片上网络的名字由来。在设计NoC的时候根据不同IP的需求进行不同的资源分配例如buffer大小、Channel的多少、网络适配器的类型等。1.3 NoC拓扑结构NoC的拓扑结构是指路由器之间的连接方式常见的拓扑结构包括环形星形Mesh树形胖树形蝴蝶形和环面等。规则拓扑如2D Mesh、3D Mesh等和不规则拓扑如专用网络、分层网络等。不同的拓扑结构对网络的性能、功耗和可扩展性等方面有不同的影响。Mesh拓扑是一种基于网格形式的拓扑结构其中每个节点都与周围的节点相连。在Mesh结构中每个节点只需要了解相邻节点的地址因此它的路由算法比较简单。Mesh结构的优点是可以快速地进行点到点通信但是它的链路数目较多容易出现拥塞。2D Mesh3D Mesh不同的拓扑结构具有不同的优缺点具体应用时需要根据系统的需求来选择适合的拓扑。例如在需要高带宽和低延迟的场景中可以选择环面结构在需要高可扩展性和高带宽的场景中可以选择胖树结构。同时NoC的拓扑结构可以根据系统需求进行优化还可以进行混合结构的设计充分利用不同拓扑结构的优点。各种结构比较1.4. NoC的挑战链接的选择串行链接面积小降低噪声和干扰。但是需要串行器和解串行器电路功耗高并行链接功耗小但是由于其基于缓冲区的架构面积大路由器协议的选择复杂路由协议面积大功耗多支持大流量简单路由协议面积小功耗低但是不支持大流量NoC结构为了实现扩展性也需要负担router/switcher逻辑之类的额外开销而一旦片上互连模块数量增加时如大于30个模块NoC的优势就会体现此时路由器逻辑和网络协议的开销就可以忽略不计因此在互联模块数量较多时NoC可以实现更高的性能同时面积却更小在互连模块的数量较少时低于20个那么片上总线和Crossbar因为设计简单会更加适合。5G、AI和自动驾驶等新兴应用对SoC设计提出了什么特别要求所有这些新兴应用都在创新的独特架构中使用人工智能/机器学习硬件加速器IP。SoC架构师面临的首要挑战是如何为这些加速器提供高带宽数据流这就要求优化NoC以提供所需的带宽而又不能阻塞整个系统其余部分的通信。其实最具技术挑战性的AI / ML实施是在汽车和机器人领域这些应用会使用神经网络边缘推理。但有一个问题架构师必须同时满足实时要求比如在击中目标对象之前对其进行检测和分类和功能安全性空气中一点辐射变化可不能导致机器人发疯或汽车碰撞。NoC技术提供了基础技术可确保整个SoC的通信延迟、带宽和仲裁优先级同时还通过ECC、硬件复制和检查等技术手段来保护数据及避免信令硬件故障。对于功能安全可以跨芯片使用NoC使用芯粒chiplet来扩展SoC。1.5 Arteris NoC介绍Arteris NoC是普及度较高的商用IP之一被高通在2013年收购后独立上市包括华为、QCom、INTC/Mobieye、Samsung以及众多Startups都有采用半数收入都来自中国市场优点是有很高的模块集成度、扩展功能、开发工具和库以及物美价廉。NoC创业公司的出路NoC是一个IP客户就是做芯片的而且是大SoC芯片市场上的客户很少并且客户很有钱有自研的能力。所以一个好的出路就是把公司卖给大公司。然后大公司如果卖这个技术给小公司那就搞界面化傻瓜化配置那一套只可以用不能随意改也不知道为什么。Arteris NoC是被高通收购后独立上市其他的同类产品公司都是被大公司收购了。使用者需要直接从QCom/Intel/Facebook/Broadcom/Marvell等上游的生态或是直接采用套件或者基于工具库再作修改包括华为在内。所以这个NoC IP比较受制于人并不够足够的灵活来满足开发的需求对SoC的优化不太理想自研也是一个趋势。Arteris产品线可分为Ncore和FlexNoC两类Ncore是缓存一致性互连IP连接CPUs、加速器和内存子系统是在2016年推出的针对异构计算芯片的IPFlexNoC则用于连接外围模块包括D2D或C2C的并行接口以及一些扩展功能如针对车规的安全扩展对于FlexNoCFlexNoC 5Arteris的NoC技术以FlexNoC 5为代表是一种不可或缺的IP生成器用于高效、高性能的NoC设计。物理感知FlexNoC 5具有先进的物理感知能力可以在设计周期早期提供直观的设计反馈加速时序收敛减少面积并为物理布局团队提供良好的起点。支持多种协议Arteris的NoC支持多种协议包括AMBA 5 ACE-Lite、AHB、AXI等使得IP块之间的互操作性更加灵活。功能安全FlexNoC 5提供了FuSa选项支持高达ASIL D级别的功能安全适用于需要高安全性的汽车和工业应用。FlexNoC 5是Arteris最新的片上网络(NoC)互连IP旨在通过其先进的物理感知功能彻底改变片上系统(SoC)设计。它通过优化互连、缩短开发时间、提高性能、降低功耗和最小化芯片尺寸显著提高了SoC布局质量和生产率。FlexNoC 5支持多种拓扑结构并因其在移动、汽车、消费者和企业应用程序中的性能和弹性而受到行业领导者的信任。IP支持基本的工业标准协议并具有内置的物理感知功能促进高效的路由和定时关闭。此外其功能安全(FuSa)选项满足ASIL D要求使其适合安全关键应用。2. 硬件相关一般SoC都有一个NoC通信的图上图只是一个举例实际在AI SoC中会更加的复杂对于一个IP往往是通过APB或其他总线连入NoC连接入NoC的线路分类为数据传输功能、配置、故障以及debug等这些在对外提供的寄存器里面都可以看到。不同的IP接入NoC时可以根据需求选择需要的功能接入。SoC中一般独立连入NoC的子系统如下CPU子系统里面有很多core通过cmn连接到NoC其他gic、dma、etr、rom、pvt、mailbox等通过DDR子系统内部会通过硬件IP区分安全区域和非安全区域的访问例如使用tzc的IP一般通过APB低速总线接入NoC。SRAM一般通过AXI高速总线接入NoCUFS与传统的eMMC存储相比UFS在性能上有显著的提升。UFS具有串行接口、全双工通信和分层架构的优势可以提供更高的数据传输速度、更低的功耗和更大的存储容量。外设低速外设子系统包括gpio、spi、i2c、qspi、uart等高速外设子系统包括eth、usb、SD、DMAFSI功能安全岛监控整个系统的状态对错误进行处理。FCCUMUX故障上报配置相关用于实现功能安全PMU电源管理单元一般高级的SoCPMU有自己独立的核和固件独立接入NoCCRU控制SoC的clock和reset功能一般是整个SoC控制的CRU在安全世界权限。子系统内部也有CRU不是直接接入NoC通过寄存器接入。DTM追踪调试器CM加解密引擎AI相关业务需要巨大的数据量和速度要求以自动驾驶为例MIPI负责相机信息的传输一般通过CSI接入NoCISP对MIPI过来的信息进行处理例如白平衡、降噪等之后给NPU进行AI处理。里面会嵌入一些流媒体信息处理的NoC来接入外面总的NoC总线。NPU一般AI使用了大量数据NoC会有独立的资源分配例如DDR中会有独立的NPU NoC通路连接不用跟其他的子系统争夺资源。VPU视频编解码处理单元。在NPU处理完视频图片对识别的物体进行标示后一般需要显示在座舱里面的屏幕上这时候的数据传输压力比较大就需要用上VPU进行编解码后显示或者编码后的摄像头数据直接上传到云端。3. 软件相关软件相关的就是可配置的寄存器然后做出对应的驱动程序供整个软件使用一般一个驱动程序提供下面的功能初始化硬件配置让硬件work注册中断来消息或者出错的时候进行上报提供文件节点供app使用NoC驱动实现的功能如上图主要包括QoS、传输超时、故障、共用配置等。关于noc的linux源码可以参考https://lore.kernel.org/all/20211129154337.14398-1-pandith.nintel.com/https://lkml.indiana.edu/hypermail/linux/kernel/2107.1/06779.html3.1 NoC数据包统计追踪在NoC上传输的数据报文是统一的像计算机网络里面的OSI七层协议。上图显示了由4字节有效负载宽度和1周期报头惩罚定义的简单格式。彩色字段可以是可选的宽度也可以是可变的。分组传输从上到下从左到右开始。FlexNoC技术支持两种数据包格式具有有效负载的数据包如写请求、读取响应和一些前导请求。没有有效负载的数据包即所有其他类型。无论请求或响应状态如何数据包报头都具有相同的格式。例如读响应、写响应和读请求标头具有相同的格式。事务请求数据包头及其关联的响应头中的大多数字段都具有相同的格式。对于NoC数据包探测主要包括如下功能支持任何传输数据包格式和序列化。跟踪模式与可编程的数据包过滤器。可选的数据包有效负载跟踪。可编程流量控制模式溢出管理和侵入性统计数据可以定期或在手动触发后收集并发送给观察者。跟踪过滤器和统计数据计数器上的警报。被探测事件的可选时间戳驱动软件中对packet进行追踪也需要进行寄存器配置下面是相关的一些寄存器3.2 故障探测包头存储在探测中如果包头错误或者数据有效载荷的后续错误状态表明延迟目标错误则将其发送到探测输出。探测链路未注入流量控制对数据路径没有定时影响。如果在探测中还有一个未处理的错误包时检测到另一个错误则第二个错误将被忽略。每当在FlexNoC FlexArtist软件中启用跟踪和统计收集特性时就会实现FlexNoC数据包探测单元。该单元可以与FlexNoC事务分析器单元一起使用以创建事务探测。在系统初始化的时候驱动软件需要配置error probe使能寄存器使能后如果发生error就会有中断上报。3.3 传输分析过滤FlexNoC事务过滤器单元使用可编程的标准来选择请求和响应事件。该单元集成到新单元并连接到新单元通用运输单元。可以将多个事务过滤器连接到一个FlexNoC事务分析器单元。FlexNoC事务分析器单元从一个或多个事务过滤器接收事件并将它们组织成直方图箱由可编程阈值定义。该单元通过单元外部事件输入端口连接到标准数据包探测器。对传输延迟或者错误的报文进行统计并提供过滤功能。在图中请求端口为红色并连接到数据包探测ONU用红色表示。数据包探测子单元的输出连接到观察器。标准数据包探测特性过滤、跟踪和统计收集可用但不支持有效负载跟踪。事务处理功能用棕色表示。在每个事务端口上实例化事务过滤器。过滤后的输出连接到事务分析器单元其输出连接到数据包探测子单元的外部输入端口。因此与使用NoC内部探测事务时相同的特性事务过滤和分析以及统计收集。在给定的通用探针中实例化的探针端口和子单元的实际类型取决于探针的配置方式。例如如果没有指定事务端口则不存在图中以棕色表示的元素。如果不需要收集统计信息则将实例化数据包探测子单元的仅跟踪版本。如果需要这两个功能并且端口所需要的所有信号都可用则同一接口可以连接到仅请求端口和事务端口。但是如果事务端口和仅请求端口所共有的信号的宽度不同则应该将它们填充到探测之外的更宽的集合中。软件配置相关寄存器3.4 QoS配置QoS就是Quality of Service服务质量。通过调整优先级来提供更好的服务质量。例如VIP、超级VIP、白金卡铂金卡等。服务质量好吞吐量高延迟就小这里跟计算机网络里面的概念是一样的。应该支持的一些功能可以固定配置也可以运行时可配置QoS优先级感知搞优先级数据包的下游清理道路设置阈值限制调节器动态调整长期占用且大流量的IP优先级软件需要为每个IP进行模式的配置例如是限制带宽还是使用调节器以及固定优先级等。参考从SoC到NoC芯片架构的演进与变革https://www.elecfans.com/d/2078685.html系统级芯片(SoC)的复杂设计选择片上网络(NoC)https://www.eet-china.com/news/202012211123.html谈谈NoC Interconnect在复杂SoC设计中的应用 - 多核/异构系统的最佳互连方法https://zhuanlan.zhihu.com/p/524040847https://blog.csdn.net/ygyglg/article/details/137525338后记关于NoC的支持更多还是需要靠外国的供应商对于软件会配置寄存器就可以了。芯片里面的知识是很多后续继续拓展分析。“啥都懂一点啥都不精通干啥都能干干啥啥不是专业入门劝退堪称程序员杂家”。欢迎各位有自己公众号的留言申请转载纯干货持续更新欢迎分享给朋友、点赞、收藏、在看、划线和评论交流公众号“那路谈OS与SoC嵌入式软件”欢迎关注个人文章汇总https://thatway1989.github.io