教师引导策略优化解决LLM蒸馏中分布差异失效问题

教师引导策略优化解决LLM蒸馏中分布差异失效问题

日前，一项针对大语言模型蒸馏中分布差异失效问题的研究成果在arXiv上公开。研究者提出了一种名为“教师引导策略优化”（TGPO）的新算法，旨在解决标准反向KL（RKL）方法在师生模型分布差异显著时的性能瓶颈。没想到，这个算法真的给LLM蒸馏带来了新思路！

标准的RKL方法原本是强化学习与模仿学习的结合产物，按理说能让学生模型在老师监督下高效探索。但问题在于，一旦学生和老师的输出分布拉开太大差距，RKL给出的负反馈就变得毫无信息量，越练越差。其实，这种情况在蒸馏实践里挺常见的，何来真正的改进呢？

TGPO正是冲着这个痛点来的，它属于在线策略算法，核心在于引入了密集的教师引导信号。没错，研究者发现与其让模型在无意义的负反馈里原地打转，不如主动用教师信号指引优化方向。这就好比老师手把手教学生，而不是只告诉“你做错了”。

从技术细节看，TGPO并没有推翻RKL框架，而是针对性地补上了分布偏离时的漏洞。它确保即便学生当前的输出和老师差距巨大，也能从每一步的密集反馈中获得有效梯度。这确实是一个挺聪明的办法——不依赖单一惩罚，而是靠持续的引导修正路径。

这一成果对于大模型蒸馏的工程落地意义不小。当前业界常用蒸馏来缩小模型体积，但分布差异导致的失效经常让效果大打折扣。TGPO的提出等于给开发者多了一件趁手的工具，让蒸馏过程更稳健。可以说，LLM的轻量化部署又往前迈了一步。