企业官网建设流程全解析

📖标题：When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
🌐来源：arXiv, 2610.11291v1

🛎️文章简介
🔸研究问题：在将教师模型能力迁移给学生模型时，是否必须每次都根据学生当前状态实时生成数据进行在线蒸馏？
🔸主要贡献：提出了一种简单的半在线蒸馏方法（Semi-OPD），发现其在大多数情况下比传统的在线蒸馏更准确且训练速度快得多，并揭示了选择策略的关键指标。

📝重点思路
🔸提出Semi-OPD方法：在训练开始前，仅使用初始学生模型生成一次数据轨迹（Rollouts），并在整个训练过程中重复使用这些固定的离线数据，而不再实时更新生成数据。
🔸引入对齐度指标：使用“初始Top-K重叠率”来量化教师与学生模型在输出Token分布上的初始对齐程度，以此作为选择蒸馏策略的依据。
🔸解耦数据与优化：将数据收集、教师评分和学生训练分为独立阶段，避免了在线蒸馏中频繁的师生交互推理，从而大幅提升GPU利用率。
🔸理论机制分析：指出有效蒸馏需要同时满足对学生和教师的“在线性”。在线蒸馏虽解决了学生的暴露偏差，但在师生差异大时，生成的长轨迹会偏离教师分布，导致监督信号失效；而Semi-OPD通过保留较短的初始轨迹，维持了对教师分布的对齐。

🔎分析总结
🔸性能全面超越：在17组不同规模和类型的师生模型对中，Semi-OPD在14组上准确率优于传统在线蒸馏（最高提升13.6%），其余3组持平，且训练速度最高提升11.4倍。
🔸对齐度决定优劣：当师生初始重叠率低（即差异大）时，Semi-OPD显著优于在线蒸馏；只有当两者高度对齐（重叠率高）时，在线蒸馏才略有优势或相当。
🔸在线蒸馏的缺陷：对于低对齐度的配对，在线蒸馏会导致生成轨迹过长、陷入自我纠正循环，且后续Token逐渐偏离教师偏好，提供无效甚至有害的监督信号。
🔸SFT预热无必要：实验发现，先用教师数据对学生做监督微调（SFT）再蒸馏，反而可能损害最终性能，直接使用指令微调后的初始学生进行Semi-OPD效果更佳。

💡个人观点
论文打破了“在线采样必然更好”的思维定势，证明在师生模型差距较大时，盲目追求数据的“新鲜度”反而会引入噪声，固定高质量的初始数据反而能提供更稳定的教师监督信号。