从 KL 散度理解 SFT 与 RL：覆盖数据，还是寻找高奖励模式？

SFT 和强化学习都在调整语言模型的输出分布，但两者观察数据、获得反馈和移动概率质量的方式并不相同。

一种常见的概括是：

• SFT 对应 Forward KL，倾向于覆盖训练数据中的模式；
• RL 对应 Reverse KL，倾向于寻找高奖励模式。

这个说法抓住了部分直觉，但如果缺少条件，很容易产生误解。本文从 KL 散度的定义出发，依次推导：

1. SFT 为什么等价于最大似然；
2. Forward KL 为什么具有 mass-covering 倾向；
3. 最大熵 RL 如何写成 Reverse KL；
4. RLHF 中的参考策略为什么不能省略；
5. 为什么不能笼统地说“所有 RL 都是 Reverse KL”。

**先记住一句话：**KL 的方向决定了从哪个分布采样，也决定了模型更害怕“漏掉目标模式”，还是“生成目标不认可的内容”。

1. KL 散度究竟在计算什么？

对于离散分布 $P$ 和 $Q$，KL 散度定义为

$$D_{\mathrm{KL}}(P\Vert Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}={\mathbb{E}}_{x\sim P}\left[\log \frac{P(x)}{Q(x)}\right].$$

这里有两个容易写错的地方。

第一，KL 中是概率之比的对数：

$$\log \frac{P(x)}{Q(x)}=\log P(x)-\log Q(x),$$

第二，$D_{\mathrm{KL}}(P\Vert Q)$ 的期望是在 $P$ 上计算的。也就是说，我们从 $P$ 中采样，再检查 $Q$ 给这些样本分配了多少概率。

因此，KL 散度有方向：

$$D_{\mathrm{KL}}(P\Vert Q)\ne D_{\mathrm{KL}}(Q\Vert P).$$

它也不是严格意义上的距离，因为它不满足对称性和三角不等式。

一个编码视角

如果真实数据服从 $P$，但我们使用按照 $Q$ 设计的编码方案，那么

$$D_{\mathrm{KL}}(P\Vert Q)$$

表示相对于最优编码，平均多付出了多少信息量。$Q$ 越不能解释 $P$ 经常产生的样本，额外代价就越大。

2. Forward KL 与 Reverse KL 的行为差异

为避免术语混乱，本文固定以下约定：

• $P$ 是目标分布；
• $Q$ 是待优化的模型分布；
• $D_{\mathrm{KL}}(P\Vert Q)$ 称为 Forward KL；
• $D_{\mathrm{KL}}(Q\Vert P)$ 称为 Reverse KL。

不同资料可能采用不同命名方式，所以阅读论文时最好直接看公式，不要只看 forward 或 reverse 这两个词。

2.1 Forward KL：目标有的，模型不能漏

Forward KL 为

$$D_{\mathrm{KL}}(P\Vert Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}.$$

如果某个位置满足

$$P(x)>0,Q(x)\to 0,$$

那么

$$P(x)\log \frac{P(x)}{Q(x)}\to +\infty .$$

目标分布认为 $x$ 会出现，模型却几乎不给它概率，因此模型受到很大惩罚。

所以 Forward KL 倾向于：

• 覆盖目标分布的多个模式；
• 避免遗漏训练数据中的低频区域；
• 在受限模型中形成 mass-covering 或 mode-covering 行为。

它有时也被称为 zero-avoiding：模型尽量避免在 $P(x)>0$ 的位置令 $Q(x)=0$。

2.2 Reverse KL：模型生成的，目标必须认可

Reverse KL 为

$$D_{\mathrm{KL}}(Q\Vert P)=\sum _{x}Q(x)\log \frac{Q(x)}{P(x)}.$$

如果

$$Q(x)>0,P(x)\to 0,$$

那么该项趋近正无穷。模型在目标不认可的区域生成内容，会受到很大惩罚。

但如果模型完全不访问目标分布的某个模式，即

$$Q(x)=0,P(x)>0,$$

这个位置不会被 $Q$ 采样，因此它对 Reverse KL 没有直接贡献。这使模型可能选择一个容易拟合的高概率模式，而忽略其他模式。

所以 Reverse KL 常表现为：

• 把概率集中在少数高价值区域；
• 避免进入目标分布的低概率区域；
• 在受限模型中形成 mode-seeking 或 mode-selecting 行为。

2.3 一个三点分布的例子

设目标分布为

$$P=(0.5,0.5,0),$$

表示目标有两个同样合理的模式。模型如果只选择第一个模式：

$$Q_{\mathrm{mode}}=(1,0,0),$$

则 Forward KL 为

$$D_{\mathrm{KL}}(P\Vert Q_{\mathrm{mode}})=+\infty ,$$

因为模型漏掉了第二个模式；而 Reverse KL 为

$$D_{\mathrm{KL}}(Q_{\mathrm{mode}}\Vert P)=1\cdot \log \frac{1}{0.5}=\log 2,$$

仍然是有限值。

反过来，如果模型在第三个位置分配正概率，由于 $P_3=0$，Reverse KL 会变成无穷大。这个简单例子揭示了两种方向的核心区别：

方向	最害怕的情况	典型倾向
$D_{\mathrm{KL}}(P\Vert Q)$	目标有，模型没有	覆盖多个模式
$D_{\mathrm{KL}}(Q\Vert P)$	模型有，目标不认可	选择安全的高概率模式

“覆盖”与“寻峰”是受模型能力、参数化方式和支持集影响的训练倾向，并不是任何情况下都必然出现的结果。

3. SFT 为什么等价于最大似然？

在监督微调中，设：

• $c$ 表示上下文或指令；
• $y$ 表示目标回答；
• $q_{\mathrm{data}}(y\mid c)$ 表示训练数据分布；
• ${\pi }_{\theta }(y\mid c)$ 表示模型分布。

对固定上下文 $c$，考虑

$$D_{\mathrm{KL}}\left(q_{\mathrm{data}}\Vert {\pi }_{\theta }\right)={\mathbb{E}}_{y\sim q_{\mathrm{data}}}\left[\log q_{\mathrm{data}}(y\mid c)-\log {\pi }_{\theta }(y\mid c)\right].$$

展开后得到

$$\begin{array}{rl}{D}_{\mathrm{KL}}\left(q_{\mathrm{data}}\Vert {\pi }_{\theta }\right)& ={\mathbb{E}}_{q_{\mathrm{data}}}[\log q_{\mathrm{data}}(y\mid c)]\\ & -{\mathbb{E}}_{q_{\mathrm{data}}}[\log {\pi }_{\theta }(y\mid c)]\\ & =-H(q_{\mathrm{data}})-{\mathbb{E}}_{q_{\mathrm{data}}}[\log {\pi }_{\theta }(y\mid c)].\end{array}$$

训练数据分布固定，因此 $H(q_{\mathrm{data}})$ 与模型参数 $\theta$ 无关。于是

$$\boxed{\arg \underset{\theta }{\min }{D}_{\mathrm{KL}}\left(q_{\mathrm{data}}\Vert {\pi }_{\theta }\right)=\arg \underset{\theta }{\max }{\mathbb{E}}_{q_{\mathrm{data}}}[\log {\pi }_{\theta }(y\mid c)]}.$$

右边就是最大似然估计。实际训练时，数据分布由有限样本近似：

$${\mathcal{L}}_{\mathrm{SFT}}(\theta )=-\frac{1}{N}\sum _{i=1}^N\log {\pi }_{\theta }(y_i\mid c_i).$$

对于自回归语言模型，一条回答的概率又可拆成 token 概率的乘积：

$${\pi }_{\theta }(y\mid c)=\prod _{t=1}^T{\pi }_{\theta }(y_t\mid c,y_{<t}),$$

所以

$$-\log {\pi }_{\theta }(y\mid c)=-\sum _{t=1}^T\log {\pi }_{\theta }(y_t\mid c,y_{<t}).$$

这正是常见的 token 级交叉熵损失。

SFT 学到了什么？

SFT 的样本来自训练数据，模型要提高这些示范答案的概率，因此它更擅长：

• 学习回答格式和表达风格；
• 建立基本的指令跟随能力；
• 覆盖数据中出现的任务和答案模式；
• 模仿示范，而不是主动比较多个候选答案的优劣。

所以更准确的总结是：

SFT 让模型学会按照示范去做，但不一定让模型学会在多个可行答案中选出最优答案。

4. 从奖励构造一个目标分布

强化学习中没有固定的标准答案，只有奖励函数 $r(x)$ 或环境反馈。为了把奖励与概率分布联系起来，可以定义 Boltzmann 分布：

$$p^{\ast }(x)=\frac{\exp (r(x)/\beta )}{Z},$$

其中

$$Z=\sum _x\exp (r(x)/\beta )$$

是归一化常数，$\beta >0$ 是温度参数。

取对数：

$$\log p^{\ast }(x)=\frac{r(x)}{\beta }-\log Z.$$

奖励越高，$p^{\ast }(x)$ 分配的概率越大。温度控制分布的尖锐程度：

• $\beta$ 较小：分布更集中，更偏向最高奖励结果；
• $\beta$ 较大：分布更平滑，保留更多探索空间。

5. 最大熵 RL 为什么可以写成 Reverse KL？

设当前策略为 $p_{\theta }(x)$。计算它到奖励诱导分布的 Reverse KL：

$$\begin{array}{rl}{D}_{\mathrm{KL}}(p_{\theta }\Vert p^{\ast })& ={\mathbb{E}}_{x\sim p_{\theta }}[\log p_{\theta }(x)-\log p^{\ast }(x)]\\ & ={\mathbb{E}}_{p_{\theta }}[\log p_{\theta }(x)]-\frac{1}{\beta }{\mathbb{E}}_{p_{\theta }}[r(x)]+\log Z\\ & =-H(p_{\theta })-\frac{1}{\beta }{\mathbb{E}}_{p_{\theta }}[r(x)]+\log Z.\end{array}$$

由于 $Z$ 与 $\theta$ 无关，最小化这个 KL 等价于

$$\boxed{\arg \underset{\theta }{\max }\left\{{\mathbb{E}}_{x\sim p_{\theta }}[r(x)]+\beta H(p_{\theta })\right\}}.$$

这就是最大熵强化学习的基本目标：

• $\mathbb{E}[r]$ 鼓励 exploitation，即提高高奖励行为的概率；
• $H(p_{\theta })$ 鼓励 exploration，即避免策略过早退化为单一行为；
• $\beta$ 决定奖励与熵之间的权衡。

因此，“RL 是 mode-seeking”不能理解为策略一定会完全坍缩。奖励项推动策略向高奖励模式集中，熵正则则保留多样性。

6. RLHF 中为什么还要有参考策略？

大模型 RLHF 通常不会直接优化“奖励加熵”，而是限制新策略不要偏离 SFT 模型太远。常见目标为

$$J(\pi )={\mathbb{E}}_{y\sim \pi (\cdot \mid c)}[r(c,y)]-\beta D_{\mathrm{KL}}\left(\pi (\cdot \mid c)\Vert {\pi }_{\mathrm{ref}}(\cdot \mid c)\right),$$

其中 ${\pi }_{\mathrm{ref}}$ 通常是冻结的 SFT 模型。

定义奖励诱导的目标策略

$$\boxed{{\pi }^{\ast }(y\mid c)=\frac{{\pi }_{\mathrm{ref}}(y\mid c)\exp (r(c,y)/\beta )}{Z(c)}},$$

其中

$$Z(c)=\sum _y{\pi }_{\mathrm{ref}}(y\mid c)\exp (r(c,y)/\beta ).$$

现在计算

$$\begin{array}{rl}{D}_{\mathrm{KL}}(\pi \Vert {\pi }^{\ast })& ={\mathbb{E}}_{y\sim \pi }\left[\log \pi (y\mid c)-\log {\pi }^{\ast }(y\mid c)\right]\\ & =D_{\mathrm{KL}}(\pi \Vert {\pi }_{\mathrm{ref}})-\frac{1}{\beta }{\mathbb{E}}_{y\sim \pi }[r(c,y)]+\log Z(c).\end{array}$$

两边乘以 $-\beta$：

$$-\beta D_{\mathrm{KL}}(\pi \Vert {\pi }^{\ast })={\mathbb{E}}_{\pi }[r]-\beta D_{\mathrm{KL}}(\pi \Vert {\pi }_{\mathrm{ref}})-\beta \log Z(c).$$

$Z(c)$ 不依赖待优化策略，因此

$$\boxed{\arg \underset{\pi }{\max }J(\pi )=\arg \underset{\pi }{\min }{D}_{\mathrm{KL}}(\pi \Vert {\pi }^{\ast })}.$$

这说明 KL 正则化 RLHF 可以解释为：当前策略使用 Reverse KL 去逼近由参考策略和奖励共同决定的目标策略。

参考策略有两个作用：

1. 保留 SFT 阶段学到的语言能力和基本行为；
2. 防止模型为了提高奖励而进入异常区域，即缓解 reward hacking 和分布漂移。

如果参考策略是均匀分布，那么

$$-D_{\mathrm{KL}}(\pi \Vert {\pi }_{\mathrm{ref}})=H(\pi )+\text{常数},$$

此时才会退化成前面的最大熵目标。真实 RLHF 的参考策略并不均匀，因此不能简单地把 KL 正则完全等同于熵奖励。

7. SFT 与 RL 的统一对比

维度	SFT	KL 正则化 RL / RLHF
样本主要来自	人工数据或示范分布	当前策略生成的样本
主要信号	标准回答的对数似然	奖励、偏好或环境反馈
KL 视角	$D_{\mathrm{KL}}(q_{\mathrm{data}}\Vert {\pi }_{\theta })$	$D_{\mathrm{KL}}({\pi }_{\theta }\Vert {\pi }^{\ast })$
典型倾向	覆盖示范中的模式	向高奖励模式集中
主要作用	学会任务、格式和基本行为	在已有能力中进一步选优
主要风险	学到数据噪声和平庸答案	奖励投机、模式收缩和分布漂移

可以用一句话概括：

SFT 让模型学会“怎么做”，RL 让模型进一步学习“哪些做法更值得选择”。

8. On-policy 不等于 Reverse KL

这两个概念经常被混为一谈：

• on-policy 描述训练轨迹由谁生成；
• Forward / Reverse KL 描述两个分布以什么方向进行比较。

例如，在 on-policy distillation 中，学生模型先生成上下文，但老师仍可能在这些上下文上提供 token 级 Forward KL：

$$D_{\mathrm{KL}}\left({\pi }_{\mathrm{teacher}}\Vert {\pi }_{\mathrm{student}}\right).$$

这里轨迹来自 student，所以状态分布是 on-policy 的；但动作分布上的 KL 方向仍然是 teacher 到 student 的 Forward KL。

判断一个方法时，应分别问两个问题：

1. 轨迹从哪里来？ 来自 teacher、离线数据，还是当前 policy？
2. KL 方向是什么？ 是 Target 到 Model，还是 Model 到 Target？

9. 常见误区

误区一：KL 是两个对数的比值

错误：

$$\frac{\log P(x)}{\log Q(x)}.$$

正确：

$$\log \frac{P(x)}{Q(x)}=\log P(x)-\log Q(x).$$

误区二：最小化 KL 与最大似然的目标值相等

两者的最优参数相同，但目标值相差一个与参数无关的常数 $H(q_{\mathrm{data}})$。因此应该比较它们的最优参数，而不是直接写两个标量目标相等。

误区三：奖励函数本身就是概率分布

奖励可以是任意实数，概率必须非负且归一化。需要通过

$$p^{\ast }(x)\propto \exp (r(x)/\beta )$$

或带参考策略的形式，才能得到合法的目标分布。

误区四：所有 RL 都是 Reverse KL

只有在最大熵 RL、KL 正则化 RLHF，或明确构造 reward-induced distribution 的框架中，RL 目标才能直接改写为 Reverse KL。一般的累计奖励最大化并不天然等于 KL 最小化。

误区五：Reverse KL 一定导致模式坍缩

Mode-seeking 是典型倾向，并非不可避免的结论。熵正则、参考策略、模型表达能力、奖励设计和采样方式都会影响最终结果。

10. 总结

整条推导可以压缩成三行：

SFT

$$\underset{\theta }{\min }{D}_{\mathrm{KL}}(q_{\mathrm{data}}\Vert {\pi }_{\theta })⟺\underset{\theta }{\max }{\mathbb{E}}_{q_{\mathrm{data}}}[\log {\pi }_{\theta }].$$

训练样本来自数据分布，模型学习覆盖示范中的行为。

最大熵 RL

$$\underset{\theta }{\min }{D}_{\mathrm{KL}}(p_{\theta }\Vert p^{\ast })⟺\underset{\theta }{\max }\left\{{\mathbb{E}}_{p_{\theta }}[r]+\beta H(p_{\theta })\right\}.$$

策略提高高奖励行为的概率，同时通过熵保持探索。

KL 正则化 RLHF

$$\underset{\pi }{\max }\left\{{\mathbb{E}}_{\pi }[r]-\beta D_{\mathrm{KL}}(\pi \Vert {\pi }_{\mathrm{ref}})\right\}⟺\underset{\pi }{\min }{D}_{\mathrm{KL}}(\pi \Vert {\pi }^{\ast }),$$

其中

$${\pi }^{\ast }\propto {\pi }_{\mathrm{ref}}\exp (r/\beta ).$$

奖励负责指出更好的方向，参考策略负责限制偏移，两者共同构成模型实际逼近的目标分布。

如果只记住最后一个判断，可以记成：

Forward KL 更在意不要漏掉目标已有的模式；Reverse KL 更在意模型生成的内容必须得到目标分布认可。

延伸阅读

• 散度：KL、JS、TV 与交叉熵