Ai2 发布 Olmo-core 3，让大规模混合专家大模型的开发更高效

📋总体概括

西雅图非营利研究机构艾伦人工智能研究所（Ai2）发布大模型开发框架 Olmo-core 3，重点优化混合专家（MoE）架构大模型的训练流程。该框架支持将 MoE 模型训练扩展至万亿参数规模，同时保持计算效率、控制训练成本。MoE 与稠密模型运作机制不同，仅激活部分专家参数即可完成计算，借此在扩大总参数量的同时避免算力开销线性膨胀。作为以开源开放著称的研究机构，Ai2 此次升级延续其 OLMo 系列开放路线，为学界与中小企业提供低成本训练超大规模模型的工程基础。