2025秋招NLP算法面试真题(十九)-大模型分布式训练题目

目录：

1. 理论篇
   1.1 训练大语言模型存在问题？
   1.2 什么是点对点通信？
   1.3 什么是集体通信？
   1.4 什么是数据并行？
   1.5 数据并行如何提升效率？
   1.6 什么是流水线并行？
   1.7 什么是张量并行 (intra-layer)？
   1.8 数据并行 vs 张量并行 vs 流水线并行？
   1.9 什么是3D并行？
   1.10 想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？
   1.11 如果有N张显存足够大的显卡，怎么加速训练？
   1.12 如果显卡的显存不够装下一个完整的模型呢？
   1.13 PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？
   1.14 3种并行方式可以叠加吗？
   1.15 Colossal-AI 有1D/2D/2.5D/3D，是什么情况？
   1.16 除了3D并行有没有其他方式大规模训练？
   1.17 有了ZeRO系列，为什么还需要3D并行？
   1.18 平民适不适合玩3D并行？
   1.19 平民适不适合直接上多