Hugging Face AI 开源博客:Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
Ai2 发布 Olmo-core 3,这是面向大规模混合专家(MoE)模型的开源训练框架,设计目标是将 MoE 训练扩展到万亿参数级别,也是下一代 Olmo 模型的核心训练系统之一。
回到原文
这里保留短导读,不转载来源网站的完整正文。具体表述和后续更新请以原文为准。
打开 Hugging Face 博客 原文