Navigating the RLHF Landscape: From Policy Gradients to PPO, GAE, and DPO for LLM Alignment

https://huggingface.co/blog/NormalUhr/rlhf-pipeline

基本概念

• On-policy 和 off-policy 区别

  • On-policy 在训练过程中是模型自己主动生成的样本数据
  • off-policy 是预先收集的数据或由其他策略生成的数据

• RL 中的关键组件

  • Actor (Policy Model)、 Critic (Value Model)、Reward Model (或 rule-based reward)、Reference Model

    

• 变量定义

  $\pi_{\theta}$	$a_t$	$s_t$	$r(s_t,a_t)$，也写作 $r_t$	$\tau=\{s_t,a_t,r_t\}^T_{t=0}$	$\gamma$
  权重 $\theta$ 下的策略空间	t 时刻的动作	t 时刻的状态	单步 reward	一条 rollout 轨迹	折现率
  $V^\pi(s)$	$Q^\pi(s,a)$	$R(\tau)=\sum_{t=0}^{\infty} \gamma^t r_t$	$J(\theta)
  =\mathbb{E}{\tau\sim\pi{\theta}}\!\Bigl[\,R(\tau)\Bigr]$	$∇_θ J(\pi_{\theta})$	$\mathcal{D}$
  状态价值函数	动作价值函数	轨迹 $\tau$ 的折现总回报	轨迹回报的期望值，希望最大化的指标	策略梯度	数据集

算法演进：策略梯度 → rewards-to-go → advantage → GAE

1 策略梯度

定义策略梯度：

$\nabla_{\theta} J(\pi_{\theta}) = \nabla_{\theta} \, \mathbb{E}{\tau \sim \pi{\theta}} \left[ R(\tau) \right] \newline \newline =\mathbb{E}{\tau \sim \pi{\theta}} \left[ \sum_{t=0}^{T} \nabla_{\theta} \log \pi_{\theta}(a_t \mid s_t) \cdot R(\tau) \right]\newline\approx \frac{1}{|\mathcal{D}|} \sum_{\tau\in\mathcal{D}} \sum_{t=0}^{T} \nabla_{\theta}\log\pi_{\theta}(a_t\mid s_t)\; \cdot R(\tau)$

• 第一行 - 目标是更新 $\theta$，（用策略梯度上升）最大化轨迹总回报的期望值
• 第二行 - 每一步的策略梯度 = “log(策略的梯度) × 回报” 的期望（用到了 log-derivative trick）
• 第三行 - 实际通过多次蒙特卡洛采样来近似期望 $\mathbb{E}{\tau \sim \pi{\theta}}$

2 减小方差：Rewards-to-Go

$\nabla_{\theta} J(\pi_\theta)\newline\approx\frac{1}{|\mathcal D|}\sum_{\tau\in\mathcal D} \sum_{t=0}^{T} \nabla_{\theta}\log\pi_\theta(a_t \mid s_t)\;\cdot \underbrace{\sum_{k=0}^{T-t}\gamma^{\,k}\,r_{t+k}}_{G_t}$

• 只关注未来的奖励，定义 rewards-to-go： $G_t=\sum_{k=0}^{T-t}\gamma^{\,k} r_{t+k}$
• $G_t$ 是对动作价值函数 $Q^{\pi}(s_t,a_t)$ 的一次无偏采样：$Q^{\pi}(s_t,a_t) = \mathbb{E}{\pi}\!\Bigl[ \sum{k=0}^{\infty}\gamma^{\,k}\,r_{t+k} \,\Bigm|\, s=s_t,\;a=a_t \Bigr]$
• 原始的 REINFORCE 算法，到此为止：$A_t = G_t - b$

3 减小方差：引入 Advantage