2026-10-26懵逼的深度学习#分布式训练框架#Megatron-LM#MoE拆解Megatron MoE源码，追踪token与专家归属本文沿 Megatron-LM 的源码，拆解一个 MoE 层里的参数放置、token 分发、专家计算与反向通信，再把它接回 DP、CP 和 PP。算例采用 DeepSeek-V4-Pro 的模型结构。
2026-10-26懵逼的深度学习#分布式训练框架#Megatron-LM#MoEDeepSeek-V4 训练并行调优：千卡与万卡配置把训练从 1024 张卡扩到 8192 张卡，如果模型和全局 batch 都不变，每个数据并行副本分到的工作就会减少。原本能够连续送进流水线的 32 个 microbatch，可能只剩下 4 个。卡多了，流水线却更难填满。 这里以 Megatron-LM 训练 DeepSeek-V4-Pro 为例，从显存和并行分组开始，整理千卡、万卡集群的调优方法，再讨论 EP、PP、CP 的选择与优化效果。文中的算例可以复算，性能数字保留论文中的模型
2023-11-25懵逼的深度学习#分布式训练框架论文阅读: ZeRO++: Extremely Eficient Collective Communication for Giant Model Training摘要 原文链接：https://arxiv.org/pdf/2306.10209.pdf 开源代码：https://github.com/microsoft/deepspeed
2023-10-26懵逼的深度学习#分布式训练框架论文阅读: ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning摘要 ZeRO-Infinity 是基于 ZeRO 的扩展，Infinity 离线引擎可以同时利用 GPU、CPU 和 NVMe 内存，还提出了其他的优化技术。
2023-10-17懵逼的深度学习#分布式训练框架论文阅读: ZeRO-Offload: Democratizing Billion-Scale Model Training摘要 ZeRO-Offload 主要优化在于尽量减少数据在 GPU 与 CPU 之间的移动，并减少 CPU 计算时间，同时最大限度地节省 GPU 上的内存。
2023-09-30懵逼的深度学习#分布式训练框架论文阅读: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models摘要 ZeRO 是一种用于大规模深度学习模型的内存优化解决方案，通过消除数据和模型并行训练中的内存冗余，同时保持了低通信量和高计算粒度。
2023-09-17懵逼的深度学习#分布式训练框架论文阅读: Horovod: fast and easy distributed deep learning in TensorFlow摘要 最近忙实习去了，断更大半年。整理了一下论文，有十几篇没读，后面有时间慢慢更。 这篇论文主要工作是对 TensorFlow 框架 API 的重写，使用 ring-allreduce 和 broadcast 方法，进行数据并行。
2023-09-17懵逼的深度学习#分布式训练框架论文阅读: PyTorch Distributed: Experiences on Accelerating Data Parallel Training摘要 本文提出的 DistributedDataParallel 在优化器运行之前进行梯度平均，用相同的梯度集更新所有模型副本，这样在数学上和本地训练完全等价，而且可以实现异步，比参数平均更加高效。