百度百舸 开源全模态训练框架 LoongForge：一套代码跑通 GPU 与昆仑芯，多模态训练提速 45%

Idea 是廉价的能被快速验证的 Idea 才值钱OpenAI 核心基础设施构建者翁家翌当模型开始同时理解图像、视频乃至物理世界并逐步具备行动能力时一个问题也随之变得不可回避我们是否仍在用 LLM 时代的基础设施来训练新一代的多模态大模型如果答案是肯定的那么问题就不再只是效率上的「还能不能再优化一点」而是训练体系本身与模型形态之间已经出现了结构性的错位。全模态训练框架 LoongForge正是在这样的背景下提出的一套系统性解决方案。 GitHub 项目地址https://github.com/baidu-baige/LoongForge1. 行业背景两条主线正在重塑 AI 基础设施过去三年大模型领域的变化并不只是规模变大而是基础假设正在发生改变。单独看它们分别属于模型侧与算力侧的自然演进但放在一起看它们正在重新定义 AI 基础设施应有的形态。1.1. 多模态正在成为大模型的新底座从模型架构的演进路径来看这一趋势已经相当清晰。早期的多模态模型通常是在纯文本 LLM 之外通过外挂视觉编码器的方式补充图像理解能力例如 InternVL、Qwen3-VL 等。这种方式实现本质上仍然是「在语言模型之外增加一个视觉插件」两者在训练目标与表征空间上并未真正统一。而新一代模型已经开始走向另一条路径。以 Ernie 4.5、Qwen3.6、Kimi K2.6 等为代表多模态能力被直接纳入预训练全过程视觉与语言从一开始就共享同一套学习机制。这种变化意味着多模态不再是可以按需添加的能力而是构成模型能力上限的基础结构本身。具身智能的兴起使这一判断进一步得到强化。VLAVision-Language-Action模型并不是对多模态的替代而是建立在 VLM 之上的自然延伸只有当模型能够稳定地看懂和理解世界才谈得上进一步与物理环境交互。从这个角度看多模态的重要性不止体现在视觉理解而是在于它构成了 AI 向真实世界延伸的起点。1.2. 算力从单一供给走向多元异构与此同时算力体系也在发生变化。以昆仑芯 P800 为代表的国产芯片已经从早期的单点探索进入到规模化落地阶段千卡级集群参与大模型训练逐渐成为常态。算力来源的多元化正在成为行业的基本现实。这带来了一个新的要求训练框架需要具备跨平台运行能力。「一套代码在不同硬件上稳定运行」不再只是工程优化目标而是直接关系到模型迭代效率与成本控制的基础能力。2. 核心挑战多模态时代的能力错配多模态训练带来的变化并不是单一维度的复杂度提升而是多种异构性的叠加数据从文本扩展到图像、视频甚至动作信号模型结构从单一主干演变为多组件协同系统。与此同时算力平台也从单一 GPU 走向多种硬件共存。相比之下当前主流训练框架的设计前提仍然是「数据同质、结构单一、平台固定」。在这种前提下构建的系统在面对多模态任务时逐渐显露出不匹配的问题。2.1. 挑战 1迭代速度被工程复杂度拖累多模态模型研发的重点已从「单一主干的规模扩展」转向「多组件的联合调优」。以 Megatron 为代表的高性能框架模型定义与分布式策略深度耦合每接入一个新模型都需深入底层代码调整模型组网工程门槛较高适配周期动辄数周而以 FSDP 为代表的方案虽然模型接入快速、调试方便但在大规模训练场景下通信效率与显存管理仍有优化空间在极致性能要求下存在瓶颈。结果是团队不得不在「快速迭代」与「高效性能」之间反复取舍。2.2. 挑战 2异构结构带来的隐性性能损耗多模态训练面临两个突出的效率问题一是视觉组件ViT与语言组件LLM的参数量差异悬殊传统框架「一刀切」的并行策略无法为不同组件分配最优资源二是多模态数据的高度不均匀性会在大规模集群中放大为明显的负载不平衡导致部分 GPU 长时间等待最慢节点。这些问题不会中断训练却持续降低整体效率使算力成本在不知不觉中被放大。2.3. 挑战 3跨平台迁移的沉没成本社区框架深度绑定特定硬件生态企业尝试国产芯片时往往需要维护两套完全独立的代码分支。更关键的是即便完成迁移因缺乏框架级深度优化不同平台之间的性能表现也难以对齐。「可以运行」与「高效运行」之间存在明显差距。3. LoongForge 产品定位与核心价值在上述背景下百度百舸开源发布全模态训练框架 LoongForge旨在从根本上解决多模态训练中的结构性问题。 LoongForge 与 LoongFlow 均属于百度百舸的 Loong 开源系列。这套框架由百度百舸 AIAK 训练加速套件演进而来以 Megatron 为核心引擎并针对全模态场景进行了原生重构。LoongForge 已在 GPU 与昆仑芯 XPU 两大平台、数千卡规模集群上完成长期生产验证覆盖 LLM 到 VLM、VLA 等多种业务场景。LoongForge 为原生多模态时代提供一套统一、高效、易用的训练加速解决方案。统一一套框架覆盖 LLM、VLM、VLA、Diffusion 等不同场景内置 20 模型族标准组件原生兼容 DeepSeek、Qwen、InternVL、LLaVA-OV、ERNIE、MiniMax、MIMO以及 Pi0.5、WAN 等主流模型。贯通预训练到 SFT 全流程兼容 NVIDIA GPU 与昆仑芯 XPU 多硬件平台。高效 覆盖 LLM 基座优化、多模态专项优化到底层算子加速的完整链路。LoongForge 在主流模型上普遍实现 15%~45% 的端到端训练加速在 DeepSeek V3.2 等前沿架构上实现倍级性能提升并在 5000 卡昆仑 P800 集群上实现 90% 的线性扩展效率。易用依托统一的模型层抽象将模型拆解为 Encoder、Foundation、组合调度三层。新模型接入只需注册对应组件通过 YAML 配置完成模块拼接与策略配置无需修改底层代码适配周期从数周压缩至天级。4. LoongForge 架构设计与核心技术能力LoongForge 的整体架构由模型层、系统层与硬件层构成这三层分别对应多模态训练中的工程复杂性、系统效率与算力平台割裂问题。4.1. 模型层统一抽象降低多模态模型构建门槛多模态模型种类繁多但底层结构有一个共同规律骨干始终是 LLM差异在于外围挂接了哪些模态的编解码器。LoongForge 在 Megatron 之上构建了统一的模型层组网抽象将多模态模型拆解为感知编码层Encoder、生成主干层Foundation、组合调度层OmniCombinationModel等三个部分。通过一份 YAML 配置文件即可自动完成不同组件的组网与并行策略配置跨层协作的复杂性全部由框架接管对模型开发者完全透明。4.2. 系统层端到端优化释放多模态训练效率LoongForge 的优化思路是逐层叠加先把 LLM 基座的训练效率做到极致再针对多模态引入的新瓶颈逐项击破。多模态训练的上限首先取决于语言基座的效率地基地基不稳上层优化再精细也是空中楼阁。下文选取若干代表性方向加以说明。针对 LLM 基座的优化CCT 算通传并行打破 MoE 长序列训练的「显存-通信」二选一困局。MoE 模型做长上下文训练时专家并行EP引入的 All-to-All 通信带来了显著通信开销。为隐藏这一开销业界方案通常将计算模块细粒度拆分但这一设计与长序列训练必备的全层重计算存在根本冲突。结果是要么通信快但显存爆炸要么显存省但通信慢两者无法共存。LoongForge 提出 CCTComputation-Communication-Transfer通算传并行方案引入显存 offload 策略并将计算、通信、数据传输进行统一调度与编排实现极致的 overlap从而打破这一僵局。实测 Qwen3-30B-A3B 32K 序列训练性能在 A800 集群中提升 16%社区同类方案在相同条件下因显存不足直接 OOM通信优化根本无法启用。ChunkPipe 流水线并行让超长序列训练在中小规模集群上真正可落地。上下文窗口持续拉长1M 级别超长序列的训练需求正在成为现实。但在 TP、PP、EP 等并行度已占满有限集群资源的情况下往往已无余量开启序列并行使得训练任务无法运行。LoongForge 实现 ChunkPipe 流水线并行将超长序列的显存开销从「随长度线性增长」转为「可控的固定开销」不依赖序列并行即可突破显存瓶颈。DSA 算子融合针对 DeepSeek V3.2 的稀疏注意力架构实现端到端加速。LoongForge 对注意力计算全链路进行了深度算子融合与优化涵盖索引内核、稀疏注意力、MQA Absorbed KV 布局、序列拼接等多个关键环节。相比非 CUDA 融合版本端到端训练性能提升约 5 倍。针对多模态架构的优化DP 负载均衡消除多模态数据异构带来的隐性算力损耗。多模态样本由单图、多图、视频、纯文本混合组成序列长度差异极大。传统数据并行将样本平均分配到各 GPU实则因 Attention 的二次复杂度特性各卡实际计算量可能相差悬殊。LoongForge 构建了自动化的计算负载均衡机制在每轮迭代前对样本分配进行动态重排显著收窄各 Rank 间的负载差距。这是 LoongForge 在昆仑芯千卡级集群训练中实现 90% 线性扩展效率的关键支撑之一。模型异构并行让 ViT 与 LLM 各用最优策略而非被迫共享一套配置。典型 VLM 模型中ViT 参数量约 300MLLM 主干可高达数百 B两者相差数百倍。LoongForge 实现组件级异构并行允许视觉编码器与语言主干各自独立配置最优策略并进一步实现了 Encoder-Decoder 全分离并行训练从根本上消除了视觉编码器引入的流水线负载不均与气泡损耗。实测 Qwen3-VL-30B 32K 序列训练相比社区方案端到端吞吐提升高达 50%。混合精度训练优化自适应 FP8让混合精度训练「从全局统一配置」走向「按场景动态最优」。FP8 虽然能显著提升训练效率但在 MoE 小专家、高并行度、短序列以及视觉-语言混合的多模态场景下额外的量化开销可能导致性能回退。LoongForge 提出自适应 FP8Selective FP8机制基于离线 benchmark 生成动态精度策略在模型初始化阶段按层、按组件自动选择 FP8 或 BF16并支持 ViT 与 LLM 分别采用独立策略避免「一套配置套全模型」的低效。这样既保留了 FP8 的吞吐收益又规避了不利场景下的回退在 Qwen3-VL 235B 的 16K 训练中实测相比全量 FP8 进一步提升约 10%。4.3. 硬件层一套代码多平台运行GPU 侧通过 PyTorch/CUDA 原生对接 Megatron完整保留原生训练的极致性能XPU 侧通过插件化的 XPU_Plugin 硬件接入层封装昆仑芯与 NVIDIA GPU 之间的底层接口差异实现 Megatron 引擎的零侵入改造。同一份训练代码仅需切换硬件环境变量即可在 NVIDIA GPU 与昆仑芯 XPU 两大平台上无缝切换运行。5. 性能数据在同等硬件条件下数字说话以下为 LoongForge 在多个典型场景下的实测表现所有对比均为各框架相同硬件配置下最优可运行方案。模型测试配置对比社区框架的性能提升Qwen3-30B-A3BMoE32K 序列16%DeepSeek V3.2MoE8K 序列480%Qwen3-NextMoE32K 序列15%Qwen3-VL-30B-A3BVLM32K 序列45%PI0.5VLABF1649%在同等 GPU 硬件与任务条件下LoongForge 在主流模型上普遍实现15%~45%的端到端训练加速。在 DeepSeek 等前沿架构上实现 4.8 倍性能提升同时得益于显存层面的深度优化相同硬件条件下可训练的序列长度显著增加。此外在 5000 卡昆仑 P800 集群上LoongForge 达到 90% 的线性扩展效率。6. 典型案例经过真实生产打磨的框架LoongForge 的能力不来自 benchmark而是在真实生产环境中持续打磨出来的结果。案例 1LLaVA-OneVision-2.0LLaVA-OneVision-2.0 是一款全开源的全帧率多模态视觉语言模型。面向真实业务场景中的视频理解需求该模型在不丢帧的前提下重构了视频理解路径优化了帧级信息提取与视觉编码方式显著减少了冗余计算从而将视频 token 消耗大幅降低。在显著降低成本与延迟的同时其视频理解能力可达到与 Qwen3-VL 相当的水平。在训练与优化过程中LoongForge 提供了多模态训练框架层面的系统性支持。基于其在异构并行、负载均衡等方面的能力模型训练的资源利用率和迭代效率获得了显著改善为整体研发过程提供了稳定支撑。案例 2LLaVA-OneVision-1.5引入全新 RICE-ViT 视觉编码器的开源多模态模型。团队数天内完成新编码器适配在 128 张 A800 上完成 8B VLM Stage-1.5 预训练。框架适配与性能优化全程开箱即用验证了 LoongForge 快速支持新架构的工程能力。案例 3千帆 VL 系列Qianfan-VL 模型系列是面向企业级应用场景强化打造的多模态大模型系列在保持通用多模态能力的基础上针对产业落地中的高频场景进行了深度优化。该系列涵盖 3B、8B、70B 三个规格的企业级多模态大模型全部基于昆仑芯 P800 芯片在 5,000 卡的超大规模分布式训练系统上完成训练。训练过程采用 3D 并行策略与通信 - 计算融合技术实现了 90% 以上的集群扩展效率并高效完成了 3T tokens 多模态数据的处理。三个规格的模型共用一套框架代码核心能力在生产环境中得到全面验证充分证明了 LoongForge 在国产算力大规模集群下的稳定性与性能表现。7. 操作演示YAML 配置驱动开箱即用LoongForge 将模型定义、训练策略、数据处理到权重管理的全流程统一收敛到配置驱动的操作范式一份 YAML 定义模型组网一行参数切换并行策略一条命令启动训练。如下展示从组网到训练的完整流程。1. 模型组网换基座只需改一行配置LoongForge 通过声明式配置支持将不同模态组件灵活组合为完整的多模态模型。以 Qwen3.5-35B-A3B 为例一份 YAML 即可完成视觉编码器、投影层与语言主干的组网defaults: - ../../models/image_encodermodel.image_encoder: qwen3_vit - ../../models/image_projectormodel.image_projector: qwen_mlp_adapter - ../../models/qwen3model.foundation: qwen3_30b_a3b - _self_ model: model_type: qwen3_vl ...如果需要将语言主干替换为 DeepSeek V3仅需修改如下引用路径defaults: - ../../models/image_encodermodel.image_encoder: qwen3_vit - ../../models/image_projectormodel.image_projector: qwen_mlp_adapter - - ../../models/qwen3model.foundation: qwen3_30b_a3b - ../../models/deepseek3model.foundation: deepseek_v3 - _self_2. 训练配置Megatron 用户零学习成本LoongForge 保留 Megatron 原生参数风格同时支持通过 Hydra 对不同组件独立配置并行策略与冻结策略。基础训练参数与 Megatron 兼容TRAINING_ARGS( --training-phase sft --seq-length 32768 --micro-batch-size 1 ... ) MODEL_PARALLEL_ARGS( --tensor-model-parallel-size 1 --pipeline-model-parallel-size 2 --expert-model-parallel-size 8 ... )组件级独立配置Hydra 扩展能力例如# 视觉编码器与语言主干使用不同的 TP 策略 model.image_encoder.tensor-model-parallel-size1 model.foundation.tensor-model-parallel-size4 # 按组件灵活冻结 model.image_encoder.freezeTrue model.foundation.freezeTrue3. 加载权重从离线转换到在线加载LoongForge 既支持将 HuggingFace 权重离线转换为 Megatron 训练格式也支持直接加载 HuggingFace 格式权重启动训练跳过转换步骤。训练完成后可一键导出回 HF 格式实现与下游社区生态的无缝衔接。TRAINING_ARGS( --load $CHECKPOINT_PATH # 直接指向 HF 模型目录 --save $CHECKPOINT_PATH # 训练过程中自动保存高性能格式 checkpoint --save-interval 40 --save-hf true # 训练结束后导出 HF 权重 --save-hf-path /path/to/output ... )4. 处理数据一条命令数据就绪LoongForge 内置数据预处理工具链可将原始数据一键转换为框架兼容的数据格式。示例命令如下python tools/data_preprocess/vlm/convert_to_webdataset.py \ --output_dir /workspace/wds_data/ \ --json_file tests/datasets/vlm/mllm_demo.json \ --image_dir tests/datasets/vlm/ \ --video_dir tests/datasets/vlm/ \ --media mix \ --columns_messages messages \ --maxcount 10000 \ --maxsize 3000000000 \ --sample_type multi_mix_qa5. 启动训练20 模型族开箱即跑LoongForge 对主流开源模型提供了完整支持。用户可在 GitHub 项目的configs/models/目录获取模型组网配置示例在examples/目录获取数据预处理脚本与训练启动脚本。完整的模型支持列表详见https://loongforge.readthedocs.io8. 路线图持续迭代方向基于当前生产级实践LoongForge 将聚焦以下方向持续迭代模型生态持续扩充模型适配矩阵覆盖 Kimi K2.6、DeepSeek V4 等新开源基座并增强对具身领域模型的深度支持。长序列训练完善百万级超长序列的训练支持扩展策略兼容性降低长上下文场景下的显存与资源门槛。训练性能从并行策略、算子融合、显存优化、通信调度等维度持续提升引擎效率进一步释放大规模集群算力。训推一体打通训练与推理的协同优化链路提供 MTP 扩展最佳实践提升推理阶段的解码效率与端到端交付速度。易用与工具链持续降低模型接入与调优门槛完善框架周边工具链让开发者将更多精力回归模型创新本身。9. 结语工具决定速度基础设施决定行业高度科技史上有一个反复出现的规律当一个领域的复杂性超出个人或小团队的驾驭边界总会出现一个工具把复杂性收进去把创新的门槛降下来然后这个领域的发展速度就会突然加快。CUDA 让研究者无需掌握图形学知识就能利用 GPU 做通用计算深度学习的规模化由此真正启动。PyTorch 把分布式训练、自动求导封装成可直接调用的工具模型创新的速度因此大幅提升。今天多模态大模型训练正处于这样一个临界点。OpenAI 核心基础设施构建者翁家翌在公开分享中多次强调「当前大模型的竞争拼的不是谁的 Idea 更精妙而是 AI Infra 的正确性与单位时间内的迭代次数。」他同时指出「Idea 是廉价的能被快速验证的 Idea 才值钱。」真正拉开差距的是同样算力下谁能跑更多实验、谁能更快试错、谁能更稳定地训练出高质量模型。AI 工程与基础设施正在成为大模型时代最核心的能力边界。模型架构快速演进、数据形态高度异构、算力平台多元分化这些复杂性已成为行业普遍的摩擦与损耗。LoongForge 所要做的正是把这层复杂性收进框架让开发团队把更多精力重新投入到模型创新本身。当训练不再成为瓶颈多模态时代的加速才会真正开始。LoongForge 采用 Apache 2.0 协议开源让统一、高效、易用的训练能力逐步沉淀为行业的公共基础设施让更多有价值的 Idea 能被快速验证。我们欢迎社区开发者共同参与新模型适配、性能调优与工具链完善携手共建原生多模态时代的 AI 训练基础设施。 GitHub 项目地址https://github.com/baidu-baige/