知识蒸馏

迁移学习（五）：知识蒸馏

把大模型的能力压进小模型而几乎不掉点：暗知识、温度缩放、响应/特征/关系蒸馏、自蒸馏与多策略实现的完整指南。