维度网讯，在大型语言模型的强化学习后训练中，生成大量推理答案的rollout过程往往伴随着高昂的算力成本，但其中大量样本却可能不提供有效训练信号。针对这一问题，清华大学自动化系的研究团队提出名为POPO（Group Prioritized Off-Policy Optimization）的优化框架，旨在通过组级离线策略优化，显著降低RLVR（可验证奖励强化学习）训练中的无效样本消耗。
RLVR的核心优势在于其奖励信号可以通过规则自动验证，但基于GRPO（组内相对策略优化）等方法进行训练时，模型会对同一prompt生成一组回答。如果这组回答全部正确或全部错误，奖励方差为零，导致组内相对优势项消失，样本对参数更新几乎没有贡献。这种被定义为“无效样本”的情况在RLVR中十分常见，尤其是对过于简单或过于困难的题目，模型会消耗大量计算资源却无法获得有效梯度。
现有应对方法主要包括：DAPO通过扩大候选batch并做额外rollout来过滤无效组，但代价是增加了生成成本；预测式采样方法在rollout前预估prompt成功率，但在大规模数据或低epoch训练中稳定性不足；轨迹回放方法虽然保存历史成功回答，却无法应对组内有效性判断和off-policy偏差等挑战。
POPO的核心思路是通过维护一个小型回放缓存（replay buffer），存放最近训练中遇到的有效response group。在每一步训练中，模型先对当前batch做rollout，然后根据奖励方差将response group分为有效组（方差大于零）和无效组（方差为零）。POPO保留有效组，对于无效组位置则不重新rollout，而是从缓存中取出最近的有效组进行补齐。这一策略能在不增加新rollout成本的前提下，让训练batch主要由有效样本组成。
与常见的轨迹级回放不同，POPO选择在group级别进行回放。一个group包含一个prompt及其对应的一组responses，且整组数据来自同一个历史策略，保留了组内一致性，便于后续进行off-policy校正。对于回放组的选择，POPO主要依据“质量”（奖励方差非零）和“离当前策略的距离”（优先回放最近存入的有效组）两个标准。
对于回放数据的偏差问题，POPO引入了解耦式off-policy优化，将“行为策略”与“近端约束策略”的角色分离。对于回放样本，算法使用重要性采样校正off-policy偏差，同时保持与on-policy样本一致的信任区域约束，兼顾了偏差修正与训练稳定性。
论文在数学推理、数值规划和视觉几何三类任务上评估了POPO的性能。在数学推理任务中，使用DeepSeek-R1-Distill-Qwen-1.5B和7B模型在DeepScaleR数据集上训练；数值规划任务使用Qwen2.5-3B在Countdown-34子集上训练；视觉几何任务使用Qwen2.5-VL-3B-Instruct在Geometry3k上训练和测试。对比方法包括GRPO、DAPO、MoPPS、ARPO等基线。
从训练曲线看，POPO在多个任务上收敛速度均优于GRPO、ARPO和MoPPS，整体效果接近DAPO，但所需rollout成本大幅降低。在DSR-1.5B上，POPO的分布内平均分为55.1，与DAPO持平，分布外平均分32.9略高于DAPO的32.7，训练时间从DAPO的30小时降至16小时。在DSR-7B上，POPO的分布内平均分63.3高于DAPO的63.2，分布外平均分51.2高于DAPO的50.8，训练时间从55小时降至34小时。在Countdown任务上，POPO平均准确率60.4接近DAPO的61.5，但rollout数仅为205k（DAPO为877k），训练时间从5.6小时降至3.2小时。在Geometry任务上，POPO取得50.0的成绩接近DAPO的50.6，rollout数为492k（DAPO为1438k），训练时间从11.2小时降至6.8小时。
消融实验验证了POPO各项设计的必要性。使用KL散度寻找回放组的方法（POPO-KL）性能接近但计算效率更低；仅过滤无效组而不补齐batch的方法（GRPO-filter）性能不如POPO；不区分有效组的回放（POPO-ineff）性能明显下降；从久远历史中回放样本（POPO-stale）性能崩溃。在优化目标方面，简单将回放数据当作当前on-policy数据处理会导致性能崩溃，而解耦式off-policy目标表现最佳。
进一步分析表明，POPO在不同response group size（k=4、8、16、32）下均稳定优于GRPO并接近DAPO，且可以应用于RLOO和PPO等其他基础RLVR算法中，并可与MoPPS等主动采样方法结合使用。
论文指出，POPO的核心价值在于将RLVR训练从“多生成、多筛选”转向“少浪费”，通过缓存并复用已经产生的高质量有效样本，减少无效rollout的浪费，同时保持训练稳定性。以本文数据为例，在DeepScaleR-7B任务上，POPO仅使用约30%的rollout预算就达到与DAPO接近的性能。未来，团队计划探索短期FIFO缓存与长期reservoir相结合的混合策略，以进一步减少在线rollout数量并增加可控的离线数据利用。
论文由清华大学自动化系季向阳教授团队完成，作者包括Yixiu Mao、Yun Qu、Cheems Wang、Heming Zou和Xiangyang Ji（毛逸休、曲韵、王、邹赫明、季向阳）。第一作者毛逸休为清华大学自动化系博士，现于阿里巴巴通义千问大模型团队实习。论文发表于arXiv，编号2606.01281v1。
