鲸云网10月28日消息，据媒体报道，摩尔线程今日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目基于摩尔线程全功能 GPU 打造，面向万卡级集群的万亿参数 MoE 模型训练需求。
据介绍，项目覆盖预训练与强化学习两大场景，为开发者提供面向 MUSA 平台的训练适配与系统优化能力。
Megatron-MUSA-Titan 已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用，经过长时间训练实践检验，实现了较高的模型算力利用率与长周期稳定训练。
在训练流程上，该项目支持与 slime、miles 强化学习框架协同，结合 Megatron 训练与 SGLang 样本生成，构建起贯通预训练与强化学习的训练基础。
技术特性方面，项目支持 blockwise FP8 训练，将全功能 GPU 的低精度计算能力引入训练流程，提升大规模训练的计算效率。
该项目还可结合 DeepEP 与 ACE 异步通信引擎，加速 MoE 中的 Token 分发与结果合并，并实现专家并行（EP）与计算的通算重叠，让数据交换与计算任务协同执行。
项目代码已托管至公开代码仓库，面向开发者开放。
编辑：华磊
免责声明：本站转载的文章，版权归原作者所有；旨在传递信息，不代表本站的观点和立场。
