内容摘要：近期，在线策略蒸馏 (On-policy Distillation)凭借卓越的性能表现成为 AI 领域的焦点。该方法通过利用密集的教师 Token 级信号对学生采样轨迹进行监督，实现了高质量的能力迁移

近期，蒸馏蒸馏在线策略蒸馏 (On-policy Distillation)凭借卓越的效果效性能表现成为 AI 领域的焦点。该方法通过利用密集的起飞教师 Token 级信号对学生采样轨迹进行监督，实现了高质量的破解能力迁移。为了进一步优化蒸馏效果，特权业界普遍尝试将「特权信息」(Privileged Information) 注入教师或学生模型中。幻觉然而，让线这种看似高效的策略“开外挂”策略往往适得其反，容易使学生陷入「特权幻觉」(Privilege Illusion)的蒸馏蒸馏陷阱，导致学习能力无法真正内化。效果效

论文信息
* 标题: DOPD: Dual On-policy Distillation
* 链接: https://arxiv.org/abs/2606.30626
* 团队: 新加坡国立大学、起飞香港中文大学 MMLab、破解北京大学、特权京东探索研究院

针对这一痛点，幻觉上述研究团队提出了 DOPD (Dual On-policy Distillation)，让线一种基于优势感知的双重蒸馏范式，成功破解了特权幻觉难题。

核心数据亮点：
* LLM 场景：学生模型平均提升 7.5 分，闭合了 89.8%的初始师生差距。
* VLM 场景：平均提升 6.0 分。
* 极端差距场景：在师生模型尺寸差距最大 (8B→0.6B) 的情况下，DOPD 的提升幅度是 Vanilla OPD 的 4 倍。

图一：DOPD 在 LLM 和 VLM 在线策略蒸馏中的性能表现

---

「特权幻觉」：在线策略蒸馏中的隐形陷阱

在传统认知中，向教师模型注入更多信息（如推理提示、视觉标注等特权信息）能提升其表现，进而让学生学得更好。但 DOPD 论文揭示了一个反直觉现象：「特权幻觉」。

什么是特权幻觉？

表面上，拥有特权信息的教师模型表现更强，但这可能仅源于信息不对称，而非真正的能力差距。学生模型可能只是模仿了教师利用特权信息的“捷径”，而非习得可迁移的核心能力。

类比：这就像一位在开卷考试中满分的老师，未必能教会闭卷考试的学生真正的解题逻辑。

特权幻觉的负面后果

1. 熵崩塌 (Entropy Collapse)：模型过早收敛，丧失探索能力。
2. 效果退化：训练后期性能不升反降。
3. 泛化变差：模型学到的是依赖特权的“假能力”，在真实场景中失效。

图二：加入特权信息后的性能与熵蒸馏变化趋势 (T: 教师, S: 学生, Priv: 加入特权信息)

---

DOPD 机制：特权优势感知的双重蒸馏

为解决上述问题，DOPD 提出了一种优势感知的双重蒸馏范式。其核心理念是：并非所有 Token 都值得同等对待。DOPD 根据每个 Token 的特权优势差距和师生预测置信度，动态调整蒸馏的方式、强度及信号来源。

1. 计算特权优势差 (Privilege Advantage Gap)

首先，分别对教师和学生模型在有特权信息参与下进行前向计算 (Forward Pass)，计算两者输出之差作为「特权优势差」。

图三：Token 消融实验结果

2. 四种精细化蒸馏策略

结合特权优势差与预测置信度，DOPD 在 Vanilla OPD 基础上，将 Token 分为四类，分别采用不同的蒸馏策略：

图四：DOPD 框架详解

Token 类型	特征描述	蒸馏策略	核心目的
高优势差 + 教师高置信	关键知识 Token	教师蒸馏 + 全词表 JS 散度	捕捉真正的能力差距，施加最强监督
低优势差 + 双方高置信	共识 Token	轻量教师蒸馏 + Top-K 反向 KL	保守吸收特权带来的共识，避免过拟合
低优势差 + 双方低置信	不确定 Token	弱自蒸馏 + Top-K 反向 KL	防止模型漂移，不强行模仿不确定内容
高优势差 + 学生高置信	探索性 Token	轻量自蒸馏 + Top-K 反向 KL	保护学生的探索行为，避免被教师压制

---

核心实验结果：优势显著

结果 1：LLM 与 VLM 蒸馏效果全面领先

在 8 个基准测试中，DOPD 平均得分 51.4，比 Vanilla OPD 高出 7.5 分，缩小了 89.8%的师生差距。相比 9 种现有 SOTA 方法，DOPD 在所有基准上均取得最佳表现。

• 超越教师模型：在部分推理和编码等高难度任务中，DOPD 甚至超越了原始教师模型，证明特权信息已转化为学生的真实能力。
• VLM 表现优异：在视觉语言模型上平均提升 6.0 分，恢复 69.2%的师生差距，有效蒸馏了教师的视觉注意力与推理能力。

表一：DOPD 在 8 种 LLM 基准上的对比

表二：DOPD 在 8 种 VLM 基准上的对比

结果 2：鲁棒性与可扩展性：差距越大，优势越明显

传统蒸馏方法常面临“老师越强、学生越弱，效果越差”的困境，而 DOPD 完美解决了这一问题。

• 小差距场景 (4B→1.7B)：提升 6.2 分。
• 大差距场景 (8B→0.6B)：提升 14.1 分，是 Vanilla OPD 的 4 倍。

这表明 DOPD 在师生能力差距较大时，能更有效地引导学生学习，鲁棒性极强。

表三：DOPD 在不同模型组合下的表现

图五：不同师生尺寸比下的绝对提升与差距缩小程度

结果 3：持续学习与分布外泛化能力优异

• 持续学习：在三阶段蒸馏中，DOPD 能更稳定地积累能力，显著优于 Vanilla OPD 和传统强化学习 GRPO 方法。
• 分布外泛化：在领域外任务中，DOPD 的泛化能力比第二名高出 3-4 分。

图六：三阶段持续学习 (左) 与分布外任务 (右) 表现评估

---

深度分析：验证合理性与有效性

分析 1：训练过程更稳定、更持续

稳定性是蒸馏方法的关键指标。DOPD 表现出以下优势：
* 曲线平稳：性能曲线平稳上升，无大幅波动。
* 收敛快速：第 80 步即达到其他方法第 200 步的水平。
* 熵变化健康：呈现“小幅上升 (探索) → 逐渐下降 (收敛) → 稳定”的健康轨迹。

图七：蒸馏过程性能 (左) 与熵变化 (右)

分析 2：特权信息与 Token 分类的科学性

• 特权信息并非越多越好：测试 5 种特权形式发现，直接提供最终答案效果最差（导致学生死记硬背）。最优策略是提供“能力导向”的提示，而非直接给答案或细节。这进一步验证了“特权幻觉”的存在及 DOPD 设计合理性。
• Token 分类具有语义意义：可视化结果显示，DOPD 对 Token 的分类符合直觉，并非随机划分，具有实际语义价值。
• 策略有效性验证：对比实验证明，针对不同 Token 特点设计不同蒸馏策略（散度目标与策略组合）是有效且必要的。

表四：不同文本 (左) 和视觉 (右) 特权信息注入的影响

图八：Token 分类结果可视化

表五：不同 Token/组合 (左) 和蒸馏策略 (右) 的表现

分析 3：敏感性与消融实验

• 参数不敏感：敏感性分析显示，DOPD 在较大参数范围内均能保持优异性能。
• 组件贡献明确：消融实验证实，DOPD 的每个组件都不可或缺，组合后实现最佳效果。

图九：敏感性 (左) 和消融实验 (右)

---

展望：在线策略蒸馏的新思路

DOPD 重新定义了在线策略蒸馏的本质。从早期的简单概率模仿，到在线策略蒸馏，再到如今的优势感知双重蒸馏，每一次技术迭代都深化了我们对“如何高效传递能力”的理解。未来，基于此思路的在线策略蒸馏仍拥有广阔的探索空间。