《The Path Not Taken: RLVR Provably Learns Off the Principals》文章中提出“Three Gate Theorem”。

第一点：KL Anchor（约束更新幅度）

RL 每一步不能让模型的输出分布发生过于剧烈的变化。KL 散度约束或策略更新中的 clipping 机制，起到限制步长的作用。

第二点：Model Geometry（决定往哪里走）

预训练模型已经具有一定的参数结构。作者认为，RL 更倾向于沿着低曲率、非主导方向进行优化，避开那些改动后可能对模型影响较大的方向。

第三点：Precision（数值精度过滤）

有些参数可能尝试发生微小变化，但在有限精度下看起来完全没动。

文章提出的解释为：RL受到更新幅度的约束，又受到预训练模型几何结构的影响，最后表现出特定的、看起来比较稀疏的参数更新模式。

对于这几点，文章也做出了一些实验验证。

文章中对GateI的验证其实并不充分，我认为GateI也不是重点所在。另外，GateIII我认为也不是重点，因为我们更倾向于关注更新较大的参数来代表是否有稀疏性，而非极小值带来的一些非必要误差。

所以我们重点对Gate II进行讨论：

文章中说RL倾向于沿着低曲率、非主导方向进行优化，这一点或许有不同的见解，因为如果沿着非主导方向进行优化，就不会存在一些RL过程中的遗忘问题了，这点应该是我们需要考虑的。

RL的稀疏性主要来自于什么地方呢？

这里我们可以轻易驳回一个观点：RL的稀疏性来自于Reward本身的稀疏性。论文《Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation》已经说明，OPD仍然会产生稀疏更新，而OPD可以近似看作非稀疏奖励的RL，所以RL的稀疏性并不会来自于Reward本身的稀疏性。从原理上也好理解，尽管Reward本身是稀疏的，但是我们求解梯度的时候并非是离散的。

还有观点认为：RL机制本身在于“激发模型中本身具有，我们倾向于让其稳定表达出的优点”。这种观点可以进一步解释为“当$\pi_\theta$与数据分布比较接近的时候，模型梯度倾向于展示出稀疏性”。

想要说明这个其实也不复杂，对于SFT和RL的梯度分布，事实上已经研究的比较清楚，《SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs》说明，RL的更新幅度更小、更集中，这篇文章有一个更有意思的发现在于“不同任务的RL更新近似正交”，这点或许和模型的可解释性相关。

但是否能够佐证我们的观点，可以看到这篇文章：《Reinforcement Learning Finetunes Small Subnetworks in Large Language Models》中，实验A结果事实上也表明了KL和gradient clipping对梯度的稀疏性影响极其有限。最有意思的在于实验B，它发现如果 SFT 使用的是接近模型自身生成分布的数据，它也能产生非常稀疏的参数更新，相反，如果偏好优化（DPO）使用与模型当前分布相距较远的数据，也可能产生稠密更新。这点和我们的观点不谋而合！

《Weight-Space Geometry of Offline Reasoning Training》这篇文章也值得注意，它提到不仅 loss 的形式重要，on-policy sampling 本身也可能显著影响更新方向。具体而言，文章通过对比相同数据在不同任务参数更新的余弦相似度，得到以上结论。

《SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning Paradigms for LLMs》文章中也提出一个很有意思的问题，为什么 GRPO 的梯度可能更加集中于特定方向，而 SFT 更容易保留不同轨迹共有的更新分量。文章给出的判断是共享方向$\mu$被 advantage weighting 精确抵消了，即GRPO 的 advantage normalization 可能会消除梯度中的公共方向，只留下与具体任务相关的残差方向。这点也是一个很有意思有待论证的方向。

现在其实我们已经可以得到结论了：RL 参数更新的稀疏性，可能主要归因于训练数据分布接近当前策略分布，而 KL regularization 和 gradient clipping 的影响相对有限。

对这方面相关的研究，还有一篇文章值得关注：《Understanding LLM Parameter Update Sparsity through the Lens of Fisher》。提出“如果模型认为多个 token 都具有较高的生成概率，而且这些 token 的 logits 对某个参数具有相似的敏感性，那么该参数的 Fisher 就会比较小。”

我们可以利用RLVR梯度的稀疏性做些什么？

1. 算法设计：

当然，一阶梯度的Sparse算法看起来并不是一个具备性价比的选择，但我们或许可以利用梯度的稀疏性筛选重要梯度，通过SVD或者一些操作做LoRA更新。这《GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR》做出了一个比较好的结果，但是它事实上并没有很好的考虑到RLVR的稀疏结构。

《The Multiple Ticket Hypothesis: Random Sparse Subnetworks Suffice for RLVR》这篇文章通过实验告诉我们，事实上简单的1%的参数的稀疏化仍然能够带来很好的效果，这证明我们的全量参数更新其实是冗余的。我们能否通过忽略掉一些可选的参数来保证我们的算法设计更加稳定？

另外RLVR也会面临一些知识退化的风险，我们能否筛选出对知识影响较大的梯度方向进一步研究？

2. 实证分析：

对于稀疏化的来源，我们已经了解了很多，但仍然存在一些问题。比如文章《The Multiple Ticket Hypothesis: Random Sparse Subnetworks Suffice for RLVR》论证了1%的参数更新都可以带来很好的效果，这里的更新冗余能否给我们带来理论上的启发？这里的更新有效性是因为命中了部分重点参数还是因为真的任意选择参数都可以？

《SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs》这篇文章中的一个很有意思的现象在于发现了RL在不同任务中梯度具备一定的正交性，这点对于模型的可解释性是否能带来一定的作用？

《SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning Paradigms for LLMs》文章中提出了一个假说：“GRPO 的 advantage normalization 可能会消除梯度中的公共方向，只留下与具体任务相关的残差方向。”这点也是可以进行进一步论证的。而这里也涉及到一个问题：如果当前的消除公共方向消除的并不好，我们能否设计出一个更好的算法？