知识蒸馏是什么？大模型怎么把本事传给小模型
大模型强但重，小模型轻但笨
大模型像一位博学但行动不便的教授：什么都能答，可要占用整间实验室的算力，普通手机根本带不动。小模型像随身带的学生：跑得快、不费电，但功力浅，复杂问题答不好。理想状态是让小模型也拥有教授七八成的水平，还保持轻巧。把这种“下放能力”的思路用好了，同样的智能就能从机房走进口袋，而不是只躺在大公司的服务器里。知识蒸馏，就是实现这个想法的经典路子。
蒸馏像师傅带徒弟：不仅给答案，还给思路
传统训练小模型，是给它一堆“标准答案”去模仿，相当于只发答案册。蒸馏不一样：让已经训好的大模型当“老师”，小模型当“学生”，老师面对同一个问题时，不仅说出最终答案，还把自己的“把握分布”交出来——比如它认为 A 对的概率 80%、B 对 15%、C 对 5%。学生学的不是死答案，而是老师判断时的“分寸感”。
学生学的不是标准答案，是“软标签”
这里的关键是“软标签”。普通训练只告诉学生“正确答案是 A”；蒸馏里老师还说“B 也有点道理”。这点“也有点道理”的信息量极大——它暴露了题目里哪些选项容易混淆、知识点之间怎么连。学生抓住这些微妙关系，比只看对错学得扎实。就像徒弟不光记师傅的结论，还偷学了师傅“为什么犹豫、为什么排除”的经验。
蒸馏出来的小模型能做什么
蒸馏后的小模型，常常能塞进手机、摄像头、汽车这类设备本地运行，不用每次都把数据传到云端。好处是快、省流量、还能保护隐私——你的语音、照片不必离开设备。很多手机相册的识别、输入法的联想、车载语音助手，背后都是被蒸馏过的小模型在干活，你感觉不到，但它一直在。
蒸馏也有代价和边界
蒸馏不是免费的午餐。学生再像老师，也会有损耗，复杂推理、特别刁钻的任务上仍会掉链子；而且好学生依赖好老师——老师自己答错或带偏的地方，学生照单全收。所以工程上常是“蒸馏打底 + 少量精调”的组合拳，而不是一键把大模型压缩完事。该用大模型的场合，小模型替代不了。
为什么蒸馏会越来越重要
模型越大越强的趋势还在，但落地场景大多在端侧、在成本敏感的地方。能把云端大模型的本事“下放”到千千万万设备里，蒸馏是性价比很高的一环。它代表一种思路转变： AI 的进步不只靠把模型做得更大，也靠把已有能力用得更巧、更省、更贴近普通人。
