首页 > 教程攻略 > ai资讯 >Kimi K3正式开放:2.8万亿参数权重、技术报告及三项Infra技术同步发布

Kimi K3正式开放:2.8万亿参数权重、技术报告及三项Infra技术同步发布

来源:互联网 时间:2026-07-28 14:24:15

2026年7月27日,月之暗面正式举办了Kimi K3开放日活动。这次活动面向开发者和研究社区,一口气放出了Kimi K3的模型权重、技术报告,以及支撑模型训练的三项关键基础设施技术——MoonEP、FlashKDA和AgentEnv。可以说,这是一次从模型、训练方法到底层基础设施的全方位开放。

开发者现在可以直接下载并部署Kimi K3,用于内部研发、模型研究,或者是集成到面向终端用户的产品中。当然,具体的使用范围还得遵守Kimi K3许可证的规定。

2.8万亿参数模型权重正式开放

Kimi K3——月之暗面目前能力最强的模型,终于对外开放了。它采用混合专家架构,总参数量达到

2.8万亿

,大约是Kimi K2.5的3倍。这个数字本身就足够说明问题。

更关键的是,Kimi K3具备原生视觉理解能力,并支持最长

100万Token

的上下文窗口。这意味着什么?大型代码仓库、长篇文档、多模态内容,甚至复杂的智能体任务,它都能轻松应对。

不过,Kimi K3并非单纯靠堆参数来提升能力。通过Kimi Delta Attention、Attention Residuals和MoonEP等一系列技术,模型的规模化效率提升了约2.5倍。换句话说,在最优算力条件下,单位算力能够产出的模型智能,大约是此前的2.5倍。这才是真正的技术含金量。

权重开放后,开发者和企业可以围绕Kimi K3进行私有化部署、行业适配、模型微调和应用集成。具体开放权重地址如下:

开放权重地址

:https://huggingface.co/moonshotai/Kimi-K3

Kimi K3技术报告同步发布

除了模型权重,Kimi K3的技术报告也一并公开了。这份报告详细介绍了模型架构、训练方法、后训练体系和评估结果,可以说是干货满满。

在注意力机制方面,Kimi K3以

3∶1

的比例混合了Kimi Delta Attention与Gated MLA。这种组合拳在提高长上下文计算效率的同时,还通过块级Attention Residuals增强了不同网络层之间的信息传递。

MoE架构方面,Kimi K3采用了Stable LatentMoE。每个Token会从896个路由专家中激活16个,并结合SiTU-GLU和Quantile Balancing,在维持较高模型稀疏度的同时,保证了训练稳定性。

视觉能力则由MoonViT-V2编码器提供。这个编码器从零开始,使用下一Token预测方式训练,完全不依赖传统的对比学习预训练。有意思的是,它在达到SigLIP初始化基线效果的同时,还获得了更稳定的优化过程。

后训练阶段覆盖了通用推理、通用Agent和编程Agent三类任务,并构建了支持百万Token上下文的强化学习基础设施。技术报告还公布了近20个内部评测集的完整测试结果及相关消融实验。

技术报告

:https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf

三项关键Infra技术开放

除模型权重和技术报告外,月之暗面还开放了支撑Kimi K3训练的三项基础设施技术,覆盖了专家通信、高性能算子和分布式强化学习环境。

MoonEP

MoonEP是一款面向超大规模细粒度MoE模型的高性能通信库。在专家并行训练过程中,不同专家接收到的Token数量可能存在明显差异,MoonEP针对这种通信不均衡问题进行优化,使得专家并行通信在负载不均的情况下仍能保持较高效率。

FlashKDA

FlashKDA是面向Kimi Delta Attention的高性能计算算子,此前已经开放了源代码。在英伟达H20 GPU上,与flash-linear-attention基线相比,FlashKDA的Prefill速度提升约

1.72至2.22倍

,并且可以作为flash-linear-attention的替换后端使用。

AgentEnv

AgentEnv是月之暗面与KVCache.ai联合开发的智能体沙箱系统,主要用于大规模运行和训练Agent环境。它为Kimi K3后训练提供了高保真、强隔离的执行环境,支持快速快照、恢复和分叉等能力,可用于大规模并行Agent工作流和强化学习训练任务。

需要说明的是,FlashKDA此前已经开放,而MoonEP和AgentEnv则随本次Kimi K3开放日正式开源。

推动开放权重模型生态

Kimi K3的这次开放,不仅仅是开放模型参数,还进一步覆盖了训练方法和底层技术基础设施。这种全方位的开放姿态,在行业内并不多见。

开放权重模型可以降低开发者获取前沿模型能力的门槛,同时为私有部署、数据控制、隐私保护和行业定制提供了更多选择。而基础设施技术的同步开放,则让研究机构和模型团队可以直接复用相关通信、算子和沙箱能力,减少训练下一代大模型时的重复开发成本。

随着模型权重、技术报告和关键Infra技术的全面开放,Kimi K3正在从面向用户和开发者的模型产品,进一步转向可部署、可研究、可二次开发的开放模型生态。这才是技术开放中最具价值的部分。

相关下载