千卡、万卡集群的 LLM 训练并行调优：以 Megatron-LM 训练 DeepSeek-V4 为例

把训练从 1024 张卡扩到 8192 张卡，如果模型和全局 batch 都不变，每个数据并行副本分到的工作就会减少。原本能够连续送进流水线的 32 个 microbatch，可能只剩下 4 个。卡多了，流水线却更难填满。 这里整理一下这类问题的分析方法。以 DeepSeek-V4-Pro 为例，从显存和并行分组开始，逐步讨论 EP、PP、CP 的选择，以及怎样判断一次优化是否有效。文中的算例可以复算，性能数字则保留论文中的模型、硬件与