Deepspeed

🔍查看交互图：Deepspeed zero2

校对

[1] 有关ZeRO的描述有误

参考文献

[1] 知乎专栏. 《从啥也不会到DeepSpeed————一篇大模型分布式训练的学习过程总结》. 见于 2026年6月19日. https://zhuanlan.zhihu.com/p/688873027.

[2] 知乎专栏. 《手把手推导Ring All-reduce的数学性质》. 见于 2026年6月19日. https://zhuanlan.zhihu.com/p/504957661.

[3] Rajbhandari, Samyam, Jeff Rasley, Olatunji Ruwase和Yuxiong He. 《ZeRO: Memory Optimizations Toward Training Trillion Parameter Models》. arXiv:1910.02054. 预印本, arXiv, 2020年5月13日. https://doi.org/10.48550/arXiv.1910.02054.