当前位置:首页 > AI科普

参数是什么?藏在 AI 大脑里的几千亿个数字

xinhack3周前 (10-18)AI科普84

参数是什么?藏在 AI 大脑里的几千亿个数字 AI科普

一句话先说清

参数,就是大模型内部那一大堆数字。你可以把它想象成模型在训练过程中"背下来"的经验和规律。模型能聊天、能写文章、能解题,靠的都是这几千亿个数字之间的精密配合。它们不是程序员一行行写死在代码里的规则,而是在海量数据上反复"学"出来的结果。换个角度,参数就是模型对世界的压缩记忆,数字越大,能装下的经验通常也越多。当你听到"这个模型有 700 亿参数",指的就是它内部这 700 亿个数字权重的总和,它们共同决定了模型会说出怎样的话。

把参数想成一本书的"知识权重"

打个比方:你读过的每本书,都会在脑子里留下印象,哪些知识重要、哪些次要,你其实有一套隐形的"权重"。大模型的参数就类似这套权重,只是它用几千亿个小数来表达,精度细到难以想象。当模型看到"苹果"这个词,参数会暗示它同时联想到"水果""红色""公司""手机"等不同方向,再结合上下文选出最合适的那一个。也正因如此,同一个词放在不同句子里,模型关注的对象会完全不同。模型越大,这种隐性权重就越细,能分辨的微妙差别也越多,这也是大模型"更懂你"的来源之一。

参数是怎么来的

模型刚"出生"时,参数都是随机的,说的话毫无意义,甚至乱码连篇。训练时,我们给它海量文本,让它不断预测下一个词,然后对比对错、反向调整参数——猜错的地方就往正确方向改一改。这个过程会重复几十亿次,参数逐渐靠近"人类语言规律",模型也就越来越会说话。所以参数是"练"出来的,不是"写"出来的;它记下的是统计规律,而不是死记硬背的字典条目。训练结束之后,这一大堆数字就被固定下来,成为模型说话的"本能",后续提问都建立在它之上。

参数多就聪明吗

不一定。参数规模像大脑容量,大一点能装下更多知识,但也更费电、更贵、更慢。真正决定效果的,还有数据质量、训练方法和模型结构。两个参数规模相近的模型,可能因为训练得好坏而差距明显;近年也有研究用更少参数做出更好的效果。所以对普通人来说,参数更多是厂家的宣传数字,不必唯大小论,看实际表现最实在。与其盯着参数看,不如直接拿几个真实任务去试试,谁答得好就用谁,这才是更靠谱的选法。

普通用户需要知道什么

你不需要懂参数的数学含义。只要记住两点:第一,参数是模型从数据里学到的规律,不是人写的规则;第二,参数多少不等于好不好用,选模型看实际表现比看数字更靠谱。把参数当成"它的经验总量"来理解,对我们普通用户来说,就已经够了。真要较真背后的数学原理,那是研究员的事;我们大多数人,用好它、问对问题,比理解参数重要得多。

相关文章

什么是多模态?AI 怎么同时看懂文字、图片和声音

什么是多模态?AI 怎么同时看懂文字、图片和声音

文字、图片、声音、视频,在我们眼里是同一种信息,对电脑却曾是三座孤岛。多模态模型正试图把它们打通。本文解释多模态是什么、它如何把不同信息放进同一个理解框架,以及普通人能用它做什么。…

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

同样是 AI,有的能写出一篇文章、画出一幅画,有的只能回答“这是猫还是狗”。前者叫生成式 AI,后者叫判别式 AI,它们干的活天差地别。理解这对区别,你就能看懂为什么聊天机器人能创作、而传统模型只能分…

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

大多数模型在「判断」,生成对抗网络(GAN)却另辟蹊径地「创造」——它能凭空画出人脸、生成逼真照片。诀窍是让两个模型互相较劲:一个拼命造假,一个拼命打假。本文用假币与验钞的比喻,讲清这场猫鼠游戏怎么把…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

把数据集中到一处训练 AI,最怕隐私和合规这关——没人愿意把聊天记录、病历乖乖上交。联邦学习换了思路:模型下发到各台设备,数据不出本地,只把「学到的改动」传回来汇总。本文用集体写书和老师批作业的隐喻,…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…

大模型为什么会一本正经胡说八道?一文讲清 AI 幻觉到底是什么

大模型为什么会一本正经胡说八道?一文讲清 AI 幻觉到底是什么

你有没有遇过让 AI 写资料,它甩出一堆看起来像那么回事、实则张冠李戴的内容?这叫「幻觉」。本文用大白话讲清幻觉到底是啥、模型为啥会一本正经地编、哪些场景最容易翻车,再给你几招普通人就能用的防坑办法,…

Token 到底是什么?大模型怎么把你打的汉字切成一块块来算

Token 到底是什么?大模型怎么把你打的汉字切成一块块来算

你跟 AI 聊天按量计费,可它数的不是「字」也不是「词」,是 token,也就是它对外算账的最小单位。这篇文章用接地气的比喻讲清 token 是啥、中英文切法差在哪、为什么一句中文可能吃掉好几个 to…