CANN/hixl昇腾通信库

【免费下载链接】hixlHIXLHuawei Xfer Library是一个灵活、高效的昇腾单边通信库面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixlHIXL面向集群场景提供简单、可靠、高效的点对点数据传输能力Latest News[2026/03] HIXL已支持超节点内FabricMem模式详见 FabricMem。[2026/01] LLM-DataDist与HIXL已支持下一代芯片的Host RoCE传输能力。[2025/12] 基于A3超平面实现D2rH直传新增链路池与IPv6支持并对接Mooncake社区的下一代TENT架构。[2025/11] HIXL提供异步传输能力支持更高并发的非阻塞数据传输场景。[2025/10] HIXL项目开源在昇腾芯片上提供高效的多链路D2D/D2H/H2D等单边通信能力并优化了小数据量批量传输场景的性能。同时HIXL已对接多个开源社区包含MooncakeDeepLink等。概述HIXLHuawei Xfer Library是一个灵活、高效的昇腾单边通信库面向集群场景提供简单、可靠、高效的点对点数据传输能力并通过简易API开放给用户, 在多AI应用和多传输链路之间建立了桥梁。可用于构建大模型PD分离、RL后训练参数切换、模型参数缓存等多种业务场景。核心优势支持单边零拷贝One-Sided Zero-Copy通信机制HIXL提供简易、可靠的单边通信接口可在本地内存数据准备就绪之后通过单边操作完成向远端内存的直接数据传输。该机制无需远端节点执行任何操作为用户构建通信与计算重叠掩盖的调度机制提供核心技术支撑。同时零拷贝能力实现用户内存间的直接数据传输避免冗余数据搬运不仅可以降低内存带宽占用还可以减少内存容量消耗。屏蔽硬件差异兼容多链路实现跨设备高速互联HIXL屏蔽了昇腾系列芯片的底层硬件差异用户无需针对不同芯片架构进行代码适配。在通信链路层面该技术原生支持RDMAHCCS等多种高速互联协议通信带宽最高可达119GB/s可实现跨架构设备如A2系列与A3系列昇腾芯片的无缝高速互联满足低时延、 高吞吐的需求。极简API设计深度适配开源生态框架HIXL采用极简式API接口设计接口数量精简至10余个核心调用降低开发者集成门槛同时提供完善的C/Python语言接口支持。目前已实现与Mooncake、DeepLink等开源框架的深度集成vLLM、SGLang等主流推理引擎也可以直接调用HIXL API完成KV Cache的跨设备高效传输将大模型推理过程中的内存访问延迟降低20%显著提升推理吞吐。核心组件HIXL Engine作为核心传输引擎提供了基础传输接口支持多种类型内存类型传输比如D2D、D2H、H2D。同时兼容多种传输协议包括HCCS、RDMA等。可实现高速、可靠的数据传输。原生支持多类型数据链路可灵活同构集群、异构集群的复杂场景。面对集群节点动态扩缩容需求时可快速完成链路适配与资源调度为集群整体运行构建可靠通信基础。LLM-DataDist基于HIXL Engine构建提供了一套携带KV Cache语义的数据传输接口。可快速、灵活对接vLLM、SGLang等推理引擎。性能表现在昇腾A3芯片上传输128M数据场景下通过HCCS链路进行传输HIXL传输引擎的带宽可达119GB/s通过RDMA链路进行传输HIXL传输引擎的带宽可达22GB/s查看基准测试Benchmarks了解更多细节。目录结构本项目的关键目录说明如下├── build.sh # 项目工程编译脚本 ├── benchmarks # 项目benchmark性能用例 ├── cmake # 项目工程编译目录 ├── CMakeLists.txt # 项目的CMakeList ├── docs # 项目文档介绍 │ ├── cpp # C文档 │ └── python # Python文档 ├── examples # 端到端样例开发和调用示例 │ ├── cpp # C样例 │ ├── python # Python样例 ├── include # 头文件 │ ├── hixl │ ├── cs │ ├── adxl │ └── llm_datadist ├── README.md ├── scripts # 脚本路径 │ └── package ├── src # 源码路径 │ ├── hixl │ ├── llm_datadist │ ├── ops │ └── python └── tests # 测试工程目录⚡️快速入门若您希望快速体验该组件的构建和样例执行请访问如下文档获取简易教程。构建介绍组件的编译和安装包括编译成功后利用tests进行本地验证。样例执行介绍如何端到端执行样例代码包括C和Python样例。学习教程若您希望深入了解组件的相关接口并修改源码请访问如下文档获取详细教程。C/C接口C接口介绍。Python接口Python接口介绍。如果希望深入了解 HIXL 开发指南和技术文章等内容可参考以下文档HIXL 资料书架总览汇总HIXL相关资料、技术文章和培训视频链接。 AI Agent支持AI辅助编程介绍仓内默认使用的一些skills及触发方式用于提升开发者编程效率和代码质量。Zread智能问答本仓已集成 Zread 代码仓智能体旨在通过 AI 技术为您提供更深度的代码理解与技术支持开启在线智能代码学习与知识问答体验⚠️ 说明 当前代码AI Agent服务处于试点阶段。在使用过程中如果您发现 AI 生成的内容存在准确性问题或对智能助手的功能有任何改进建议欢迎通过 Issues 与我们交流您的反馈对我们非常重要相关信息贡献指南安全声明许可证所属SIG联系我们本项目功能和文档正在持续更新和完善中欢迎您关注最新版本。问题反馈通过GitCode【Issues】提交问题。社区互动通过GitCode【讨论】参与交流。经验分享通过GitCode【Wiki】分享经验总结。加入交流群通过扫描下方微信二维码添加HIXL小助手微信加入微信群与我们进一步交流。【免费下载链接】hixlHIXLHuawei Xfer Library是一个灵活、高效的昇腾单边通信库面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考