​ 蚂蚁集团周俊：万亿参数模型从“追求数量”迈向“深耕密度”

在AICon现场，蚂蚁集团副总裁周俊的一番分享，让不少人倒吸了一口凉气。他算了这样一笔账：一个典型的万亿参数大模型，光是跑上15分钟，所消耗的算力成本，就相当于一辆特斯拉汽车的价格。这个对比足够直观，也足够扎心——前沿AI模型的“烧钱”速度，已经快到了难以忽视的地步。当一个模型还没真正落地，光是训练和推理的能耗就能把预算吃掉一大块，那么“提效降本”就不再是锦上添花的优化课题，而是智能体时代必须直面、必须解决的生存命题。

针对这个困境，周俊团队提出了一套思路上的根本转变：与其继续无休止地堆叠Token数量，不如反过来把精力放在提升“Token密度”上。说白了，就是让每个Token都能产生更大的价值，而不是靠数量取胜。这套新范式的技术底座，是一条融合创新的线性注意力架构——他们把7份Lightning Attention和1份MLA组合在一起。这套方案的核心优势在于，处理256K长度的上下文时，计算复杂度从传统方案那种指数级陡峭攀升的曲线，被压成了近似线性增长。这一突破直接意味着，算力不再被大量浪费在无意义的计算膨胀上，而是被更集约地用在真正的推理和决策环节。

光有架构还不够，团队又集成了Kpop算法。这玩意儿能够精准地区分出工具调用指令和自然语言语义Token之间的差异——听起来简单，但这在混合任务场景中价值极高。再加上思维链剪枝、自蒸馏等一系列协同优化手段，实测结果相当亮眼：在不牺牲模型能力的前提下，整体的Token输出量下降了大约4倍。更值得一提的，是在LongBench、BFCL等权威Agent专项评测中，蚂蚁的千亿参数模型已经能够超越不少参数规模更大的竞品。而在实际交互场景中，小型化模型的flash吞吐率提升了2.4倍，完成五轮多步对话所需的算力投入更是降低了超过10倍。

这不是靠堆料硬扛，而是通过架构层面的重构，让每一分算力都用在刀刃上。从行业视角来看，周俊的分享不仅为大模型工程化落地提供了一套可复用的方法论，更重要的是为下一代智能体的轻量化、高响应、低成本演进指明了方向。当算力瓶颈日益成为制约AI深度渗透各行各业的那道真实门槛，蚂蚁体系内推动的这一系列效率革命，正在悄然点亮行业前行的一盏新灯。

关键的几条信息值得反复咀嚼：万亿模型15分钟的运行成本≈一辆特斯拉，效率跃升已经迫在眉睫；范式从“更多Token”向“更高Token密度”迁移，混合注意力架构让长上下文的成本变得线性可控；Kpop算法加上多项优化技术的结果，是Token用量砍掉4倍、能力不降反升，千亿模型在多个Agent基准测试中达成了越级表现。