月之暗面回应K3模型质疑强调性能跃升源于底层原创架构创新

近日，月之暗面企业业务负责人回应了外界关于K3模型是“蒸馏小模型”的猜测，明确否认了这一说法。据悉，其强调K3性能跃升的核心来自底层原创架构创新，而非对现有模型的蒸馏复刻。

K3模型于7月16日发布，以2.8万亿参数规模成为全球最大的开源模型，并在Arena前端代码榜单登顶。据悉，该模型的竞争力被归结为三项原创技术：Kimi Delta Attention混合线性注意力机制、Attention Residuals注意力残差技术，以及首次应用于大模型训练的Moon Clip二阶优化器。

据悉，其中的Moon Clip优化器能在训练数据见顶的背景下，让20T数据跑出40T的训练效果，同等性能下训练成本与算力功耗直接减半。配合极致稀疏的MoE架构，K3相较前代K2的整体扩展效率提升约2.5倍。