PPO-Clip的「盲点」被补齐了？快手提出熵比裁剪方法，从局部约束到全局稳定的关键一跃（

1.ppocrv5

本研究由快手科技语言大模型团队完成，核心作者苏振鹏，潘雷宇等快手语言大模型团队聚焦在基础语言大模型研发、Agent RL 等前沿技术创新等方向，积累务实的探索 AGI 的能力边界，并不断推进 AI 领域新技术和新产品的发展。

2.ppocr

此前，该团队已开源了 Klear-46B-A2.5B 和 Klear-Reasoner-8B 等模型，其中 Klear-Reasoner-8B 在数学和代码的基准测试上达到了同参数级别模型的 SOTA 效果。

3.ppo除草

在大语言模型的后训练阶段，强化学习已成为提升模型能力和对齐质量的核心范式然而，在广泛采用的 off-policy 的训练范式中，更新当前策略的数据由旧的行为策略生成，导致分布漂移的问题的发生，这通常会将策略推至信任域之外，使强化学习的训练变得不稳定。

4.ppo材料缩水率

尽管 PPO 通过重要性采样的裁剪机制缓解了部分问题，但它仅能约束已采样动作的概率变化，忽略了未采样动作的全局分布漂移为了应对这些挑战，快手研究团队提出了一种创新的熵比裁剪方法该方法从全新的视角切入，通过约束策略熵的相对变化来稳定全局分布，为强化学习训练提供了更加可靠的控制手段。

5.ppo材料

论文标题：Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning论文地址：https://arxiv.org/pdf/2512.05591

6.pocket

研究背景强化学习训练过程中长期面临信任域偏离的挑战目前，业界用于大模型的强化学习常采用 off-policy 训练范式，用于更新当前策略的数据由旧的行为策略生成，导致新旧策略之间存在分布漂移主流方法通常采用重要性采样来纠正此类偏差，但其固有的高方差可能导致更新步长不稳定，仍存在信任域偏离的风险。

7.PPOCRv5的onnx模型

这种偏离具体表现为训练过程中梯度范数和策略熵的剧烈波动PPO 算法是解决信任域偏离问题的主流方案，主要有两种形式：PPO-penalty：在目标函数中加入 KL 散度惩罚项，对新旧策略的分布差异进行全局约束。

8.PPOCRLabel

但是惩罚系数非常敏感，且对每个动作概率施加逐点约束可能会抑制探索PPO-Clip：通过将重要性采样比率限制在固定区间内，形成局部信任域，裁剪过大的更新以降低方差该方法更鲁棒且易于调参，但其约束仅作用于已采样的动作，未采样的动作则完全不受约束。

9.PPOC是什么代码

随着训练迭代的不断进行，这部分未受约束的动作分布会持续漂移，最终威胁策略的稳定性例如，假设动作空间为 {a, b, c, d}，旧策略的概率分布为 {0.85, 0, 0.15, 0}，经过多次迭代后，新策略的概率分布变为 {0.82, 0.064, 0.07, 0.046}。

10.PPOCRv5加速

尽管采样动作 a 的概率变化微小，PPO-Clip 不会触发裁剪，但其余动作的分布已发生显著偏移ERC 机制：从全局视角稳定策略分布受 PPO-clip 启发，论文提出了熵比裁剪（ERC）机制，当新旧策略间的熵变化超出允许范围时，ERC 直接对样本梯度进行截断。

ERC 并非取代 PPO-Clip，而是对其形成补充：PPO-Clip 仅约束采样动作的局部更新幅度，而 ERC 将熵比限制在一个适中的区间内，从而缓解整体策略分布的漂移首先，论文提出了熵比指标，其被定义为新旧策略在同一 token 上熵的相对变化。

具体的，它被形式化定义为下式：

不同于重要性采样比率，熵比可以测量整个动作分布（包括未采样动作）的变化，提供了对策略全局漂移的度量。另外，论文还对采样动作概率与熵比的关系进行可视化，如下图所示：

当采样动作较低或者较高时，全局分布偏移变得更加明显在将熵比作为策略分布的全局变化指标引入后，论文进一步将其集成到现有强化学习目标中，旨在约束新旧策略之间全局分布的变化以