学习笔记-DeepSeek在开源第四天发布DualPipe和EPLB两项技术

在AI模型训练的进程中，优化并行策略对于提升训练效率和资源利用率至关重要。DeepSeek在开源周第四天发布的DualPipe和EPLB两项技术，为V3/R1训练场景下的并行优化提供了创新解决方案。

DualPipe：双向管道并行算法

技术原理：

• DualPipe是一种双向管道并行算法，旨在解决传统管道并行中存在的“气泡”问题。在传统的单向流水线中，计算和通信阶段往往相互等待，导致资源浪费。而DualPipe通过实现“向前”与“向后”计算通信阶段的双向重叠，使得计算设备在处理前向传播任务的同时，也能进行反向传播的通信，从而大大减少了等待时间，提升了硬件资源的利用率。
• 例如，在一个8层的深度学习模型中，使用8个GPU设备进行训练时，DualPipe的调度策略可以让每个设备同时处理两个不同层的任务，如设备0同时负责第0层和第7层的计算，设备7同时处理第7层和第0层的任务，这种对称的设计让数据在设备之间流动更加高效。

EPLB：专家并行负载均衡器

技术原理：

• EPLB是针对V3/R1的专家并行负载均衡器，基于混合专家（MoE）架构。在MoE模型训练中，不同专家的负载可能因当前工作负载而异，导致部分GPU过载而闲置。EPLB通过冗余专家策略，复制高负载专家，并结合启发式分配算法，将复制的专家分配到GPU上，优化GPU间的负载分布。
• 此外，EPLB还会尽量将需要高度协同的专家放置在同一节点上，以减少节点间的数据流量，进一步提高通信效率。