当前位置:首页 > AI科普

少样本学习是什么?大模型为什么看几个例子就会

xinhack3周前 (10-21)AI科普216

少样本学习是什么?大模型为什么看几个例子就会 AI科普

从"喂一万条"到"看三个例"

早年的机器学习有个硬规矩:想让模型学会分类邮件,得先标好几千封"正常"和"垃圾"给她喂进去,它才勉强上路。今天的大模型却画风突变——你只在对话里摆两三个例子,说"像这样分",它就能照着办。这种"给少量示范就上手"的能力,叫少样本学习,是大模型最实用的本事之一。

一个比方:看样例学做事的人

想象招了个悟性极高的新员工。你不必从头教他识字,因为他早已通识傍身;你只要递给他两三份"输入—输出"的范例,他就能举一反三,处理后面的新单子。大模型正是这样:预训练阶段已经读透了语言规律,少样本学习只是临场给他看几个"模板",他靠通识把模式补齐,而不是从零学规则。

它发生在"上下文"里,不改参数

关键的冷知识:少样本学习通常不动模型的参数。你给的例子就放在这一次对话的上下文里,模型现场"读题、模仿、作答"。这叫上下文学习。好处是零成本——不用训练、不用微调,换批例子就能换种干法;缺点是例子占着有限的上下文窗口,给太多反而容易乱,而且关掉对话就忘,下次得重给。

为什么它有时翻车

少样本不是万能。其一,例子若带偏见或错误,模型照单全收,所谓"跟着学坏"。其二,任务太绕、例子不够典型,它容易表面模仿而非真懂,换个说法就懵。其三,它依赖预训练里已有的相关通识——你让它用从没接触过的专业符号体系干细活,给仨例子也救不回来。它强在"通识可迁移",弱在"没法凭空生知识"。

和微调该怎么选

少样本适合临时、多变的任务:今天按 A 格式、明天按 B 格式,给例子最灵活。若一件事要长期、海量、稳定地做,且对准确率要求高,还是把例子变成训练数据做微调更稳。简单说,少样本是"现场看样",微调是"正式培训",前者快、后者牢。

小结

少样本学习让大模型摆脱了"每条规矩都得从头训练"的旧框:靠预训练攒下的通识打底,临场看几个范例就能举一反三。它便宜、灵活、零训练,但怕坏例子、怕生僻事、关窗就忘。理解它,你就掌握了和大模型"用例子沟通"的那把钥匙。所以和大模型协作时,多花心思在"给好例子"上,往往比换模型更见效。它看的是范式不是死规则,你给的样例质量,直接决定了它上手的高度。少样本不是魔法,而是预训练通识的临场变现——你递的范例,就是它这次变现的剧本。

相关文章

参数是什么?藏在 AI 大脑里的几千亿个数字

参数是什么?藏在 AI 大脑里的几千亿个数字

常听人说某个大模型有几千亿参数,参数到底是什么?这篇文章用最直白的方式解释大模型里的参数,它们是怎么来的、是不是越多越聪明,以及普通用户到底需不需要关心这个数字。…

数据标注是什么?AI 背后的“人工”功课由谁打标

数据标注是什么?AI 背后的“人工”功课由谁打标

我们总说 AI 靠数据训练,却很少问:那些训练用的“标准答案”是谁写的?很大一部分来自数据标注——真人一条条给图片打框、给文本分类、给语音转写。没有这层笨功夫,很多模型根本学不会。这篇文章用“给老师批…

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

同样是 AI,有的能写出一篇文章、画出一幅画,有的只能回答“这是猫还是狗”。前者叫生成式 AI,后者叫判别式 AI,它们干的活天差地别。理解这对区别,你就能看懂为什么聊天机器人能创作、而传统模型只能分…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…