当前位置:首页 > AI科普

涌现能力是什么?小模型不会、大模型突然会

xinhack3周前 (10-19)AI科普57

涌现能力是什么?小模型不会、大模型突然会 AI科普

一个反直觉的现象:大到一定程度才“会”

很多技能是循序渐进的:模型大一点,翻译好一点、算数准一点,符合直觉。但有一类能力不是这样——小模型完全没有,中等模型还是没有,可当参数规模跨过某个门槛,它突然就“会”了。比如某种复杂推理、某种多步规划,小模型连影子都没有,大模型却能顺手做出来。这种“之前不会、之后突然会”的现象,被叫做涌现能力。

像人浪,也像水烧到一百度

两个比喻好懂。体育场里少数人站起来只是零散起立;当足够多人同时参与,全场人浪才真正成形——少几个人浪就散了,这叫“集体到了规模才出现”。另一个比喻是烧水:从二十度到九十九度,一直只是“热水”,看不出质变;到一百度突然沸腾。涌现就是这种“凑够规模才解锁”的突变,不是每条能力都平滑上涨。

涌现不是魔法,是能力被“解锁”

说“突然会了”容易让人以为模型觉醒了,其实没那么神秘。更合理的解释是:很多任务需要同时调动若干项基础能力,规模小的时候这些能力各自都弱,拼不到一起;规模大了,各项基础都够强、又能协同,原本不可能的组合就变得可能。好比一个人力气、平衡、协调都差一点时走不了钢丝,三项同时达标,钢丝就能走——不是新长出了一种能力,是旧能力终于够用了。

哪些能力是涌现出来的

研究者观察到,一些需要多步链条的能力更容易涌现:比如根据一段杂乱信息做推理、把一种语言的说法绕到另一种语言、理解隐含在字里行间的意图。这些不是某条规则能直接写出来的,更像“规模把潜在可能性兑现了”。也正因如此,大模型常常带来“意外之喜”——一些设计者没 explicit 教、却自然长出来的本事。

涌现给了我们什么提醒

一是别用“小模型表现”线性推测大模型。小模型做不好的事,大模型未必做不好,简单外推会误判。二是规模有它的杠杆效应:在关键门槛前加一点资源,可能换来能力阶跃,而不是均匀改善。这对理解“为什么大家拼命堆参数”很有帮助——他们赌的正是下一个涌现节点。

别把涌现神化:它也有边界

涌现不等于“越大越聪明”的通行证。有些事规模再大也不涌现,只是更流畅;也有研究指出,部分“涌现”只是评测方式造成的假象——换种衡量标准,曲线可能一直平滑。更稳妥的态度是:把涌现当成值得关注的现象,而不是神话。它提醒我们 scale 有奇效,但也提醒我们,能力边界要实测,不能想当然。

相关文章

训练 AI 的数据从哪来?它到底在学什么

训练 AI 的数据从哪来?它到底在学什么

大模型再强,也是从海量文本里"喂"出来的。本文带你看看训练数据通常是什么、从哪里来,为什么数据的质量和数量同样重要,以及数据过时会对 AI 造成什么影响。…

梯度下降是什么?模型靠不断试错找到最优解

梯度下降是什么?模型靠不断试错找到最优解

训练一个 AI 模型,本质是解一道没有标准答案的难题:怎么调那几十亿个参数,让模型的预测最接近真实?梯度下降就是工程师手里最常用的“导航仪”——它不要求一步到位,而是每次朝“让错误变小”的方向挪一小步…

数据标注是什么?AI 背后的“人工”功课由谁打标

数据标注是什么?AI 背后的“人工”功课由谁打标

我们总说 AI 靠数据训练,却很少问:那些训练用的“标准答案”是谁写的?很大一部分来自数据标注——真人一条条给图片打框、给文本分类、给语音转写。没有这层笨功夫,很多模型根本学不会。这篇文章用“给老师批…

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

同样是 AI,有的能写出一篇文章、画出一幅画,有的只能回答“这是猫还是狗”。前者叫生成式 AI,后者叫判别式 AI,它们干的活天差地别。理解这对区别,你就能看懂为什么聊天机器人能创作、而传统模型只能分…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

给 AI 准备带标签的数据很贵——得雇人一条条标。自监督学习绕开这道坎:它不给标准答案,而是把数据自己拆成「题」和「答案」,让模型在填空、比对中练出对世界的理解。本文用完形填空的比喻,讲清它怎么让大模…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…