2026-10-26懵逼的深度学习#分布式训练框架#Megatron-LM#MoE拆解Megatron MoE源码,追踪token与专家归属本文沿 Megatron-LM 的源码,拆解一个 MoE 层里的参数放置、token 分发、专家计算与反向通信,再把它接回 DP、CP 和 PP。算例采用 DeepSeek-V4-Pro 的模型结构。
2026-10-26懵逼的深度学习#分布式训练框架#Megatron-LM#MoEDeepSeek-V4 训练并行调优:千卡与万卡配置把训练从 1024 张卡扩到 8192 张卡,如果模型和全局 batch 都不变,每个数据并行副本分到的工作就会减少。原本能够连续送进流水线的 32 个 microbatch,可能只剩下 4 个。卡多了,流水线却更难填满。 这里以 Megatron-LM 训练 DeepSeek-V4-Pro 为例,从显存和并行分组开始,整理千卡、万卡集群的调优方法,再讨论 EP、PP、CP 的选择与优化效果。文中的算例可以复算,性能数字保留论文中的模型