首页 > 教程攻略 > ai资讯 >北航、北大和美团联合提出：策略提升强化学习!

北航、北大和美团联合提出：策略提升强化学习!

来源：互联网时间：2026-07-13 14:24:30

直接说结论：来自北航、北大、美团的研究团队，最近提出了一种新的强化学习后训练视角——PIRL（Policy Improvement Reinforcement Learning），以及对应的落地算法PIPO。这项工作关注的是大模型RL后训练中一个非常基础、但长期被默认跳过的问题：一次更新在当前数据上看起来优化了学习信号，是否就真的说明模型策略变强了？

过去的方法大多在回答一个问题：当前这批轨迹该怎么学？PIRL/PIPO则进一步追问：这一步学完之后，模型真的变强了吗？如果变强了，能不能进一步巩固？如果没有，甚至带来了负面影响，能不能及时削弱或校正？

论文标题：Policy Improvement Reinforcement Learning论文：https://arxiv.org/abs/2604.00860代码：https://github.com/JacckMa/pipo_verl

主要贡献

提出PIRL这一新的强化学习后训练视角。它不只看当前批次里的奖励、优势估计或教师信号，而是把跨迭代的策略提升本身作为优化目标提出PIPO这一即插即用的闭环优化框架。PIPO可以直接接入几乎现有所有的RL后训练算法，如PPO、GRPO、DAPO和自蒸馏等方法。它不替代原方法中的局部学习信号，而是在其外层加入一层“回头验证”机制：对确实带来策略提升的更新方向进行进一步放大，对未能带来提升甚至造成性能下降的更新方向进行抑制、抵消或反向校正。在数学推理、代码、工具调用和自蒸馏设置下进行验证。实验显示，PIPO在多种基础算法和任务场景中都带来了一致提升。

背景：RL后训练已经很强，但仍然是“开环”的

大模型这两年能持续变强，一个关键绝招就是后训练强化学习。从经典的PPO，到推理任务里常见的GRPO、DAPO、GSPO，再到利用模型自身轨迹和反馈进行学习的OPD与自蒸馏，方法越来越多，效果也越来越强。它们都在解决一个核心问题：如何把当前这批数据里的奖励、优势估计、执行反馈或教师信号，转化成一次有效的参数更新，探索出新策略。这些方法当然能推动策略变强，这也是RL后训练成为主流范式的原因。

但问题在于，这些方法大多数有一个共同特点：优化主要发生在当前采样轨迹上。也就是说，算法会认真计算当前这批轨迹该怎么学，却很少显式验证这一步学完之后，新的策略是否真的比过去更好。这就是论文里说的“开环优化”。开环并不意味着方法无效，而是说训练过程少了一个关键环节：更新之后的效果验证，以及基于验证结果对上一轮更新方向进行回溯校正。

RL后训练不能只盯着眼前这一批数据里的局部信号，还需要一个跨时间的验证机制，以及能够对历史更新方向进行再加权、抑制或校正的回溯调整机制。

PIRL：把“策略提升”本身变成优化目标

从理论层面，论文也论证了这一点：这个目标不会改变最终优化方向。对于固定初始策略，最大化累计策略提升，和最大化最终策略性能是对齐的。换句话说，这种目标改写并没有偏离最终想要的模型能力。

所以，PIRL并不是否定奖励、优势或教师信号，而是补上它们缺少的一环：更新之后，要验证这一步有没有真的转化成策略提升。

PIPO：让训练过程学会“回头看”

基于PIRL，论文进一步提出了PIPO。它的核心是两步：先让基础算法正常探索，再在下一轮利用策略提升反馈回头验证，确认这次探索是否真的带来了策略进步。如果新策略相较历史基准表现更好，PIPO会认为上轮更新方向与策略提升一致，从而进一步放大、巩固这一方向；如果新策略没有带来提升，甚至导致性能下降，PIPO则会削弱该更新方向的影响，必要时通过回溯校正在优化意义上抵消有害更新。

这一步回答的是：当前这批轨迹该怎么学？

因此，策略提升目标可以被写成类似PPO的裁剪形式：

这样一来，PIPO就可以在PPO、GRPO、SDPO等原有方法基础上即插即用地加入跨迭代验证。它把单批次内的局部学习信号和批次之间的历史表现联系起来，让每次更新都多一道判断：这次更新之后，模型整体有没有更强？如果变强，就巩固有效的更新方向；如果变弱，就削弱有害的更新影响。由此，原本开环的RL后训练被转化为带有策略提升反馈的闭环优化过程。