深入解答
大模型训练需要分布式是因为单卡 GPU 的显存和算力有限。在 L2（CPU 与内存）层面，H100 GPU 有 80GB 显存，但 70B 参数模型需要 ~140GB 显存（FP16 每参数 2 字节）；在 L7（应用抽象）层面，分布式训练通过数据并行、张量并行、流水线并行将模型拆分到多卡甚至多机。数据并行：每张 GPU 持有完整模型副本，数据分片；张量并行：单层内部矩阵运算拆分到多卡；流水线并行：模型按层拆分到不同 GPU。挑战：GPU 间通信（NVLink/InfiniBand）成为瓶颈，需要优化通信效率。
问题导读
核心观点：大模型训练的分布式挑战源于单卡资源的限制。从 L2 的显存带宽，到 L3 的 NVLink 互联，再到 L7 的集合通信，每一层都影响着训练效率。理解这些层级的瓶颈，是优化分布式训练的关键。
阅读建议：建议先理解问题的核心观点，明确这个问题涉及哪些抽象层级；然后按照钻取路径，逐层深入理解每一层的具体机制；最后结合相关的层级详情页和交互沙盒，验证你的理解。如果某些概念不太理解，可以点击钻取路径中的层级链接，跳转到对应的层级详情页查看详细的 What/Why/How 解释。
实践指导：阅读本文后，建议你：1）打开相关的交互沙盒，亲手操作验证问题中的概念；2）尝试回答钻取路径中每一层的核心问题，检验自己的理解；3）将问题中的知识点与你的实际工作经验联系起来，思考如何应用到实际项目中；4）如果有余力，可以阅读问题末尾推荐的延伸阅读资源，进一步拓展知识面。
🎯AI 时代的价值
为什么 AI 时代更要理解这个问题？当 AI 推荐分布式训练方案时，理解数据并行、张量并行、流水线并行的瓶颈让你能判断它是否适合你的模型和硬件。AI 可能推荐一个理论上高效但实际受限于互联带宽的方案。理解分布式训练的层级瓶颈，让你能做出正确的架构决策。
💡 核心洞察：AI 能生成代码，但判断代码是否正确、是否高效、是否适合你的场景——这些都需要底层理解力。理解这个问题的钻取路径，让你在面对 AI 输出时不再是被动接受者，而是能够判断、优化、甚至质疑 AI 的主动决策者。
关键概念总结
本问题涉及的核心概念包括：
- 数据并行：每张 GPU 持有完整模型副本，数据分片处理。
- 张量并行：单层内部矩阵运算拆分到多卡，需高速互联。
- 流水线并行：模型按层拆分到不同 GPU，配合微批次调度减少气泡。
- ZeRO 优化：将优化器状态、梯度、参数分片存储，降低显存占用。
💡 提示：点击上述概念中的关键词，可以跳转到对应的层级详情页，查看更详细的解释和示例。
延伸阅读
如果你想深入理解这个问题，以下资源可以帮助你进一步学习：
- 层级详情页：本问题涉及的每个抽象层级都有详细的 What/Why/How 解释，包括核心概念、性能指标、常见陷阱等。建议点击钻取路径中的层级链接，逐一查看。
- 交互沙盒：我们为本问题涉及的层级配备了交互沙盒，让你能够亲手操作和验证概念。建议在阅读理论后，立即打开沙盒进行实验，通过调整参数、观察行为变化，更深刻地理解抽象概念的本质。
- 主题线：如果你想从横向视角理解这个问题，可以查看相关的主题线。例如，"延迟阶梯"主题线带你理解从纳秒到秒的成本差异；"并发之路"主题线帮你掌握从时钟边沿到分布式共识的并发编程。
- 相关文章：我们撰写了多篇深度文章，系统性地讲解计算机科学的抽象阶梯。建议阅读《从 L0 晶体管到 L14 云原生：15 层抽象阶梯的复杂度地图》，建立全局视角。
学习路径建议
根据你的基础和学习目标，我们推荐以下学习路径：
初学者路径
从基础概念开始
- 阅读问题导读
- 理解核心概念
- 查看层级详情
进阶者路径
深入理解机制
- 操作交互沙盒
- 分析性能数据
- 实践优化技巧
专家路径
建立系统认知
- 阅读经典论文
- 对比不同方案
- 应用到实际项目
💡 提示：无论选择哪条路径，都建议结合交互沙盒进行实践。动手操作比单纯阅读更能加深理解。