企业官网建设流程全解析

模型蒸馏评测：学生模型变小后，错误也会变形

一、蒸馏不能只看平均准确率

模型蒸馏的目标通常是把大模型能力迁移到小模型上，降低推理成本和延迟。评测时如果只看平均准确率，很容易漏掉错误类型变化。学生模型可能总体分数接近教师模型，但在长尾类别、复杂推理或边界输入上明显退化。

模型变小后，错误不是简单等比例增加，而是会变形。哪些能力保住了，哪些能力丢了，必须拆开看。

二、蒸馏评测要比较教师和学生的错误分布

flowchart TD A[评测集] --> B[教师模型预测] A --> C[学生模型预测] B --> D[教师错误集合] C --> E[学生错误集合] D --> F[错误重叠分析] E --> F F --> G[能力退化报告]

如果学生模型新增错误集中在某些任务类型，就说明蒸馏数据或训练目标没有覆盖好。

三、记录每个样本的对比结果

row = { "sample_id": "case_001", "teacher_correct": True, "student_correct": False, "category": "long_context_reasoning", "confidence_gap": 0.34 }

样本级记录比总体分数更有价值。后续可以按类别、长度、难度和输入格式切片分析。

四、蒸馏数据要覆盖业务分布

学生模型学到的是蒸馏数据里的行为。如果蒸馏数据偏向简单样本，小模型会在简单问题上表现不错，但面对真实业务长文本、噪声输入和多约束任务时掉得很快。

还要评估校准能力。学生模型可能比教师模型更自信地犯错。对于需要拒答或置信度阈值的系统，校准比单纯准确率更重要。

延迟和成本也要一起看。学生模型如果准确率下降一点，但延迟下降很多，某些场景可能值得；如果需要更多重试或人工复核，综合收益就未必成立。

最后，蒸馏后要做回归测试。模型变小不是一次性动作，后续数据、教师模型和训练策略变化都会影响学生模型。评测集要保留历史版本，才能观察能力是否持续退化。

蒸馏目标也要拆开看。只蒸馏最终答案，学生模型可能学到表面输出；蒸馏中间推理、分类边界或 logits 分布，能保留更多教师信息，但训练成本和实现复杂度更高。选择哪种目标，要根据业务任务决定。

数据温度会影响学生模型。教师输出太确定，学生可能过拟合硬标签；教师输出保留概率分布，学生能学习类别之间的相似性。分类任务、生成任务和检索重排任务的蒸馏策略不应该完全相同。

还要关注部署形态。蒸馏模型通常为了低延迟上线，但如果需要额外前处理、后处理或多模型级联，端到端延迟可能没有想象中低。评测必须包含完整服务链路。

最后，学生模型失败样本可以反向改进蒸馏数据。把学生错、教师对的样本收集起来，按类别补充训练，比盲目扩大数据量更有效。

蒸馏评测还要看鲁棒性。学生模型在干净样本上接近教师，不代表在拼写错误、格式噪声、长输入截断和分布外样本上也稳定。小模型容量更低，通常更容易在边界输入上退化。

如果蒸馏用于线上服务，还要评估拒答能力。教师模型能判断证据不足并拒答，学生模型可能为了追求拟合答案而更愿意猜。对安全或知识问答场景，错误拒答和错误回答都要分开统计。

还要分析输出长度。学生模型可能生成更短答案，导致成本下降但信息缺失；也可能因为不稳定生成冗长解释，抵消推理成本优势。评测时要把质量、长度和延迟放在一起看。

最后，蒸馏模型上线要灰度。先在低风险流量中比较人工反馈、失败率、延迟和成本，再逐步替换。离线指标接近，不代表线上分布也接近。

五、总结

模型蒸馏评测要看平均分，也要看错误分布、长尾任务、置信度校准和端到端成本。学生模型变小后，错误会重新分布。只有知道能力在哪里丢失，才能判断蒸馏是否真的可用。