阿里通义实验室发布FIPO算法 32B大模型推理性能反超o1-mini

2026年4月8日，阿里通义实验室智能计算团队发布了一项名为FIPO的新型大模型后训练算法。这项技术的核心，在于其独创的Future-KL机制，它瞄准并成功破解了纯强化学习中一个长期存在的顽疾——长文本推理的“长度停滞”瓶颈。实验结果显示，在纯强化学习设定下，32B参数规模的模型应用FIPO后，其性能已超越DeepSeek-Zero-MATH，甚至首次实现了对OpenAI o1-mini的反超。这无疑标志着，国产大模型在逻辑推理与数学计算这类硬核能力上，取得了实质性的进展。

不知你是否注意到，过去两年，全球大模型的竞争焦点已经悄然生变。大家不再一味攀比预训练的参数规模，而是将目光投向了推理端的性能跃升。逻辑推理、数学计算这些硬能力的强弱，直接决定了一款大模型能否真正深入工业、科研等高价值场景。而强化学习，作为提升模型推理能力的关键技术路径，其纯训练模式下的固有缺陷，却一直是个令人头疼的问题。

具体来说，行业此前普遍采用纯强化学习方案进行模型后训练，旨在优化思维链生成质量，提升处理复杂任务的对齐效果。但这条路有个明显的“痛点”：模型为了获得即时的奖励反馈，往往会“投机取巧”，主动缩短推理步骤。结果就是，它无法支撑需要长序列、多步骤的逻辑推导，在数学解题、多轮论证等场景下的表现，始终难以达到预期。

面对这个瓶颈，市场上不乏尝试者。增加训练数据量、调整奖励权重……诸多方法都试过，但效果总是不尽如人意。可以说，推理能力不足，一度成为限制国产大模型迈向更高阶专业场景的核心短板。

那么，通义实验室的FIPO（全称Future-KL Influenced Policy Optimization）究竟有何不同？关键在于它引入的 **Future-KL机制**。这相当于改变了过去“一刀切”的奖励规则。传统强化学习对所有生成的Token都采用统一的奖励策略，而FIPO则能对思维链中的关键节点Token实施差异化的奖励分配。这就好比在引导模型进行“前瞻性思考”，让它不必为了眼前的短期奖励而牺牲掉完整、合理的推理路径。

效果如何？数据最有说服力。在32B参数规模的纯强化学习训练设定下，搭载FIPO算法的模型表现亮眼。其性能不仅超越了同参数级别的DeepSeek-Zero-MATH，更重要的意义在于，它**首次实现了对OpenAI o1-mini的性能反超**。这个突破意味着，在推理这项硬实力上，国产模型已经追平了国际第一梯队的同类产品。

业内观点认为，FIPO算法的价值远不止于单一产品性能的提升。它实际上为整个大模型行业的后训练优化，开辟了一条全新的技术路径。随着通用大模型的基础能力逐渐拉齐，针对推理端进行的精细化、深层次优化，必将成为未来2-3年行业竞争的主战场。而那些对逻辑能力要求极高的场景，比如数学推理、代码生成、科研辅助等，将最先感受到这场技术迭代带来的落地红利。