首页 > 教程攻略 > ai资讯 >刚刚,Kimi K3正式开源!3万亿模型权重全球开放(附开源地址)

刚刚,Kimi K3正式开源!3万亿模型权重全球开放(附开源地址)

来源:互联网 时间:2026-07-28 13:36:52

就在刚刚,全球AI领域迎来一个里程碑式的时刻:Kimi K3正式开源了。这不仅是全球首个3万亿参数级别的开源模型,更是一个信号——开源大模型的能力边界,被实实在在地往前推了一大截。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

Moonshot AI这次的动作相当干脆,直接放出了Kimi K3的完整模型权重、一份47页的技术报告,还顺带把支撑K3训练的关键基础设施技术——MoonEP、FlashKDA和AgentEnv——也一并开源了。

K3的体量是惊人的2.8T参数,一个原生多模态MoE架构的“巨兽”。更关键的是,它在长逻辑链编程、超长上下文智能体协作、复杂推理这些硬核场景下,已经具备了和目前最强闭源模型(比如Fable 5和GPT-5.6 Sol)掰手腕的实力。这不仅是国产AI团队实力的证明,更是给整个开源社区注入了一针强心剂。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

3万亿参数级的开源时代,正式开启

2026年7月27日,Moonshot AI兑现了承诺,Kimi K3的完整模型权重在面向全球开源社区发布。这标志着,开源大模型正式进入了2.8万亿参数的新纪元,Kimi K3也因此成为全球首个真正落地的3万亿参数级别开源模型。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

这次发布的不仅是冷冰冰的权重,还有详细的技术细节和报告。Moonshot表示,他们已经和多家推理合作伙伴以及开源维护者紧密协作,确保K3能在主流硬件和框架中稳定运行。这意味着什么?开发者可以下载完整权重,进行本地部署或二次开发;研究机构能够基于K3探索超大规模MoE、新型注意力机制等前沿课题;企业则可以构建专属的超长上下文知识系统和智能Agent集群。可以预见,开源社区将迎来新一轮的应用浪潮。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

参数规模天花板,又被抬高一截

过去一年,Kimi系列几乎每个季度都在刷新开源模型的天花板。K3这次,直接把天花板捅到了“3T俱乐部”。

相比前代K2,K3在架构上实现了显著突破,主要体现在几个关键点:

  • 采用了专为超长序列设计的KDA混合线性注意力机制。
  • 引入了Attention Residuals,提升了深层模型的训练稳定性。
  • MoE架构大幅优化:896个专家,每次只激活16个,结合Stable LatentMoE框架,在保持巨量参数的同时,极大提高了计算效率。

官方数据显示,这些创新让K3的整体扩展效率较K2提升了约2.5倍,真正做到了“规模”与“可用性”的平衡。

与Kimi K2.5的主要区别在于,Kimi K3的视觉编码器MoonViT-V2完全从零开始训练,仅依赖后续token预测,可以直接依据语言建模目标调整编码器的表征,并且在整个训练过程中保持稳定。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

值得一提的是,MoonViT-V2在视觉评估中的表现与SigLIP初始化的基线模型相当,支持100万token超长上下文,并原生具备多模态能力。可以说,K3是架构创新与场景适配的综合进化。官方技术博客的那句话说得很好:“前沿智能属于所有人”。Kimi K3的开源,正是这一理念的最新实践。

根据官方及第三方评测,Kimi K3在编程、代码Agent、前端开发、长上下文推理等场景中表现突出。它的整体智能水平已经进入全球第一梯队,在开源阵营中更是处于领先地位。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

技术报告解读:K3到底强在哪?

和开源消息一起放出的,是一份47页的技术报告,里面干货满满。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

一个2.8万亿参数的“六边形战士”

Kimi K3用实际表现证明,开源模型同样可以做到极致的Scaling与Reasoning。它的核心底座数据堪称豪华:总参数量高达2.88万亿,每个Token激活参数量为1040亿;原生支持100万Token的超长上下文窗口;视觉与文本从预训练第一天起就交织在一起,原生多模态,没有任何后期的“缝合”对齐阶段;并且支持从Low、High到Max多种Thinking Effort级别,在复杂任务上会像人类一样“三思而后行”。

架构三大革新:扩展效率提升2.5倍

训练一个3万亿参数级别的模型,绝非简单地堆叠GPU。Kimi K3相比上一代Kimi K2,整体扩展效率实现了约2.5倍的飞跃,这归功于其极其优雅且暴力的架构设计。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

1. 混合注意力机制:KDA + Gated MLA

传统的Softmax注意力机制在处理百万级上下文时,KV Cache的内存占用会瞬间撑爆显存。Kimi K3独创性地采用了混合架构——每一个Block包含3层Kimi Delta Attention (KDA) 和1层Gated MLA。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

KDA(线性注意力)负责高效的长序列混合,将冗长的上下文压缩成固定大小的循环状态,彻底打破了上下文长度的内存诅咒。而Gated MLA(全局注意力)则周期性地保留极致的全局信息检索能力。这种“3:1”的搭配,既保住了长文本的“命”,又留住了找细节的“魂”。

2. 注意力残差(Attention Residuals)

在极深的网络中,信息往往会在层层传递中损耗。Kimi K3引入了Attention Residuals,允许当前层“跨级”直接读取之前所有层的特征表示。这就像是给模型装上了“直达电梯”,信息流转不再拥堵。

3. 稳如泰山的超稀疏MoE (Stable LatentMoE)

Kimi K3的路由专家数量暴增至896个,每个Token激活16个专家。为了在极度稀疏的情况下保持训练稳定,Kimi团队祭出了两大杀器:SiTU-GLU激活函数,它完美解决了传统SwiGLU在极端规模下容易导致激活值爆炸的问题;以及Quantile Balancing(分位数负载均衡),它摒弃了传统的辅助损失函数,采用动态调整偏差的方式,让896个专家“不闲着也不累坏”,实现了近乎完美的负载均衡。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

百万Token的Agent进化论:K3 是如何炼成的?

大模型的强大不仅在于预训练,更在于“后训练/RL”。Kimi K3的强化学习完全是为“100万Token超长视距的智能体”量身定制的。

1. 极度复杂的白盒沙盒训练 (AgentENV)

Kimi K3的训练环境不再是简单的问答,而是真实的模拟器。月之暗面开发了基于微型虚拟机(microVM)的沙盒AgentENV。在这个环境里,Kimi K3会历经成百上千个步骤:写代码、截图、查Bug、自我修正。它甚至在模拟的Slack、Notion、Gmail环境中扮演人类员工,处理跨越“虚拟数天”的超长待机任务。

2. 知识图谱引导的任务合成

为了让模型见多识广,研发团队构建了一个自我进化的知识图谱,让爬虫智能体在全网自动抓取、合成涵盖从天体物理到前端开发的各种高难度验证任务,以此来“折磨”K3。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

3. 多层思考的蒸馏 (MOPD)

Kimi K3交叉训练了通用、智能体、代码三大领域的专家模型,并在低、高、极限三个“思考努力”级别上进行强化学习。最后,通过多教师在策略蒸馏,将这些强大的能力浓缩到了一个统一的模型中。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

算力与基础设施的极限压榨

2.8T参数、1M上下文,这不仅是对算法的考验,更是对系统工程的史诗级挑战。Kimi Infra团队交出了一份惊艳的答卷。

MoonEP(零浪费的专家并行):

在MoE训练中,算力不均是常态。MoonEP通过极其精妙的在线整数线性规划和“零拷贝”通信,实现了完全动态且绝对平衡的算力分配。

KDA融合Prefix Cache:

针对混合架构,团队重写了底层推理引擎,让KDA的循环状态与MLA的KV Cache能够在一个内存池中完美共享与复用。这意味着,处理包含数十万字相同前缀的请求时,K3的响应速度将有指数级的提升。

实测表现:逼近甚至超越人类极客

在报告展示的全面评测中,Kimi K3在各项公开与内部基准测试中,全面超越了Claude Opus 4.8、GLM-5.2 和 GPT-5.5,并逼近目前最强的Claude Fable 5 和 GPT-5.6 Sol。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

Kimi K3在真实极客任务中的表现,更是惊人。

找出Linux内核的Zero-Day漏洞:

在极度硬核的网络安全评估中,Kimi K3不仅能通过已知漏洞编写Exploit,竟然还在最新的Linux内核代码中,独立发现了多个未知的零日漏洞,包括一个远程触发的堆越界写入和一个本地提权漏洞,这些发现已得到人类安全专家的验证。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

爆改GPU编译器:

Kimi K3独立开发了一个名为MiniTriton的GPU编译器,包含完整的代码生成管线,并在极高难度的大核算子优化中,将运行时间缩短了70%以上,逼近硬件的理论极限。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

48小时内设计出一颗芯片:

作为一个早期概念验证,K3被关在沙盒里48小时,完全自主地使用开源EDA工具,从零开始设计、优化并验证了一颗基于45nm工艺的AI推理芯片,最终成功通过了时序闭合。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

替代科研人员打工:

为了复现天体物理学中的某个普遍关系,K3自主阅读了20多篇论文,编写了超过3000行Python代码搭建完整数值管道,找出了已发表论文公式中的矛盾点,并生成了可交互的数据面板。人类需要一到两周的工作,K3在两个小时之内完成了。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

极致的性价比

性能比肩最强闭源模型,那推理成本呢?得益于量化感知训练、投机解码以及系统底层的疯狂优化,Kimi K3的性价比极其恐怖。在第三方平台Artificial Analysis的统计中,Kimi K3在保持第一梯队性能的同时,在BrowseComp基准上单次任务的成本仅为GPT-5.6 Sol的一半,甚至比Claude Fable5便宜了近乎一个数量级。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

硅谷集体发声,开源浪潮势不可挡

近200家硅谷创始人联合表态,反对美国政府切断企业获取开源大模型的渠道。老黄在X上发出了人生第一推,25家企业联合署名表示支持开源,名单里包括英伟达、微软、Meta、IBM、a16z、YC等等,几乎囊括了硅谷的半壁江山。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

在这个风口浪尖,K3的全面开源,意义更加重大。在今日的Arena.ai榜单上,Kimi K3仍是全球第一。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

开源之光,点亮前沿智能

国产开源路线,也是面对闭源巨头的一次弯道超车的机会。可以预计,随着K3权重的全面开放,大量社区优化版本、本地部署方案和垂直应用会蓬勃而出。曾经Llama的开源,让Meta一举打破了闭源巨头的垄断,彻底点燃了全球开源AI社区的热情。如今,以K3为代表的中国开源AI的崛起,或许将彻底改变全球大模型的游戏规则。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

据传,Kimi团队周五在一家酒吧举行庆功活动,现场大屏写着“K3,扩容升级”、“K4,给我狠狠干到极致”、“冲上月球”。而就在Kimi K3开放权重几小时前,Kimi K 3.1传出将于下月发布。

刚刚,Kimi K3正式开源!3万亿模型权重全球开放

“虽然在整体表现上,Kimi K3仍略微落后于最强大的闭源模型,但它已经稳稳确立了开源领域的全新边界。”Kimi K3的横空出世,打破了“只有闭源巨头才能玩转百万级Agent和慢思考”的偏见。当代码、权重和技术细节毫无保留地开放,属于开源AI的星辰大海,才刚刚开始。

相关下载