知识蒸馏是什么：为什么小模型不只学习答案还要学习概率分布

作者：袖梨 2026-07-21

大模型通常拥有更强的理解和生成能力，但参数规模、推理延迟与部署成本也更高。

如果一个模型的效果很好，却无法放进手机、浏览器或资源有限的服务器里，这些能力就很难真正落地。

一个自然的想法是：

能不能让大模型当老师，把已经学会的知识教给一个更小的模型？

这就是知识蒸馏（Knowledge Distillation）要解决的问题。

它并不是把大模型的参数直接复制给小模型，也不只是收集一批答案让小模型死记硬背，而是让学生模型尽可能模仿教师模型对数据的理解方式。

为什么叫“蒸馏”？

在化学中，蒸馏会利用不同成分挥发性质的差异，将混合物中的目标成分分离出来。

知识蒸馏借用了这个名字：

能力更强、结构更大的模型↓ 提取知识能力更小、部署更轻的模型

其中：

能力更强的模型叫教师模型（Teacher Model）
需要学习的小模型叫学生模型（Student Model）
学生模仿教师的训练过程叫知识蒸馏

教师模型通常已经训练完成。蒸馏时，学生模型不仅学习训练数据里的正确答案，还会学习教师模型给出的预测信息。

只学习标准答案为什么不够？

假设我们要训练一个图片分类模型，输入是一张猫的照片。

普通标签可能只告诉模型：

猫：1狗：0老虎：0汽车：0

这种明确的标准答案叫硬标签（Hard Label）。

硬标签能够告诉学生“正确答案是猫”，却没有说明：

这张图有多像猫？
它为什么容易和狗混淆？
猫与老虎是否具有相似特征？
汽车为什么几乎不可能是答案？

对于硬标签来说，所有错误选项都是 0，狗、老虎和汽车没有区别。很多有价值的类别关系因此被丢掉了。

软标签提供了什么信息？

教师模型处理同一张图片时，内部输出可能更接近下面的概率分布：

猫： 80%狗： 10%老虎：9%汽车：1%

这种带有相对概率的信息通常被称为软标签（Soft Label）。

它不只给出“猫”这个结论，还暴露了教师模型对不同类别关系的判断：

猫与狗有一些相似之处猫与老虎的视觉特征也有关联猫与汽车几乎没有关系

教师模型在大量数据中学到的这种类别关联，经常被称为“暗知识”（Dark Knowledge）。

因此，知识蒸馏中的学生模型要模仿的不是一个孤立答案，而是教师模型输出分布的形状。

温度参数为什么会出现？

模型在得到最终概率之前，通常会先输出一组未经归一化的分数，也就是 logits。

Softmax 会把这些分数转换成概率：

pᵢ = exp(zᵢ / T) / Σ exp(zⱼ / T)

其中：

zᵢ 是第 i 个类别的 logit
T 是温度（Temperature）

普通分类常使用 T = 1。蒸馏训练通常会使用大于 1 的温度，让概率分布变得更平滑。

例如，原本非常集中的分布：

猫：96%　狗：3%　老虎：1%

经过较高温度软化后，可能更容易看出次要类别之间的差异：

猫：60%　狗：23%　老虎：17%

这里的数字只是为了说明分布变化，不是固定计算结果。

温度过低时，教师输出会非常接近硬标签；温度提高后，学生能看到更多非目标类别的信息。但温度也不是越高越好，过度平滑会让类别差异变得太弱。

学生模型究竟在优化什么？

经典知识蒸馏通常同时保留两种学习信号。

1. 学习真实标签

学生模型仍然要对训练数据的标准答案负责，例如这张图确实是一只猫。

这一部分通常使用普通的交叉熵损失。

2. 模仿教师分布

学生模型还要让自己的软化输出接近教师模型的软化输出。

这一部分常使用 KL 散度或交叉熵衡量两个分布之间的差异。

整体目标可以简化理解为：

总损失= α × 学习真实答案+ β × 模仿教师分布

在常见实现中，蒸馏损失还会乘以 T²，用于补偿温度变化带来的梯度缩放。

因此，学生既不会完全抛开真实数据盲目模仿教师，也不会只看到非黑即白的标准答案。

完整过程可以概括为：

同一批训练数据 ├──→ 教师模型 ──→ 软化后的教师分布 ──┐ │├─→ 计算损失 → 更新学生模型 └──→ 学生模型 ──→ 软化后的学生分布 ──┘ + 真实标签

教师模型一般只参与前向计算，不再更新参数；真正被训练的是学生模型。

用“学做菜”理解知识蒸馏

可以把训练学生模型想象成培养一名新厨师。

第一种方法是只给他菜谱：

盐 3 克油 20 毫升翻炒 2 分钟

这很像硬标签。新人知道最终应该怎么做，却不知道为什么火候要这样控制，也不知道食材状态发生变化时该如何调整。

第二种方法是让经验丰富的厨师现场示范。

新人不只看到成品，还能观察大厨什么时候调火、怎样判断成熟度、遇到不同食材时如何改变操作。

这些没有完整写在菜谱里，却能体现经验的信息，就像教师模型概率分布中包含的暗知识。

知识蒸馏不是保证学生最终与老师完全相同，而是用更丰富的监督信号，让容量较小的学生尽量学到老师的判断方式。

“收集大模型回答”都算经典知识蒸馏吗？

不一定。

在经典分类蒸馏中，训练者通常能够访问教师模型的 logits 或完整概率分布，再让学生直接拟合这些信息。

但通过大模型 API 获得的往往只是一段最终回答：

问题 → 教师模型 → 文本答案

如果接口没有提供 logits 或 token 概率，学生就看不到教师完整的输出分布。这种利用教师生成内容训练学生的方法，通常更接近响应蒸馏（Response-based Distillation）或基于合成数据的蒸馏。

在大语言模型中，常见做法还包括：

让教师生成高质量问答数据
让学生模仿教师的回答风格与任务格式
在可访问时学习教师的 token 概率
对齐中间特征、隐藏状态或注意力信息

它们都体现了“教师向学生传递能力”的思路，但能获得的信息不同，训练方式也不完全相同。

因此，知识蒸馏不能简单理解成“向大模型发请求并保存答案”。能否访问概率、训练数据怎样构造、损失函数如何设计，都会影响它属于哪种蒸馏方式。

知识蒸馏、微调与模型压缩有什么区别？

这几个概念经常同时出现，但解决问题的方式不同。

方法	核心操作	是否需要教师模型	主要目的
微调	用特定任务或领域数据继续训练模型	不一定	让模型适应新任务或新领域
知识蒸馏	让学生模型模仿教师模型	是	把教师能力迁移到更小模型
量化	用更低精度表示权重或计算	否	减少显存、存储和计算开销
剪枝	删除不重要的连接、通道或参数	否	降低模型规模与计算量