当前位置:首页 > AI科普

大语言模型到底是什么?把 ChatGPT 的那点家底扒一扒

xinhack1周前 (11-02)AI科普22

大语言模型到底是什么?把 ChatGPT 的那点家底扒一扒 AI科普

先说清楚:它不是人,也不是搜索引擎

咱先把话撂这儿:大语言模型说白了就是段程序,跑在服务器上的代码,没心没肺、不困也不饿。它跟人最大的不同,是它根本不「理解」你说的啥,只是在算接下来最该蹦哪个字。它也不是搜索引擎——搜索是去库里翻现成答案,它是当场一个字一个字现编。你问它今天天气咋样,它真不知道,因为它没联网没眼睛,只会顺着你的问题吐出像那么回事的一串字。把这点认准了,后面才好唠。

肚子里装的啥:一堆数字,不是「知识库」

那它凭啥能聊?秘密全在「参数」俩字上。训练时,它把海量文字嚼碎,变成几百亿甚至上万亿个数字——这些数就是它的「脑子」,存的是字词之间怎么连、怎么接的「经验」,不是一本本背下来的百科全书。打个比方,它不像你脑子里存了「北京是首都」这条知识,而是记下了「北京」这词老跟「首都」「长城」「烤鸭」挨着出现。所以你问它冷门实事,它容易一本正经地编——因为那是概率拼出来的,不是查到的。

它怎么「接话」:一个字一个字往外蹦

你发一句话过去,它干的事特简单也特笨:看完你所有的字,算下一个最该出现的字是啥,蹦出来;再把这新字接在尾巴上,算再下一个;就这么一个字接一个字,直到觉得该停了。这活儿叫「生成」,本质是接龙。所以它说话有时会越聊越偏、自己绕进去,因为每步都只看「眼前概率最大」,不回头管整体通不通。就像接龙游戏,前头接顺了,后头也容易接瓢了。

训练分两步:先通读,再跟人学好坏

它这套本事不是天生的,得练。第一步叫「预训练」:把网上能扒的公开文字一股脑喂进去,让它先摸透语言这锅汤的滋味,学会「像人话」。第二步叫「对齐」:人拿一堆问答教它——这么问该这么答、那么说不合适,把它的嘴往「有用、不冒犯」上掰。前面聊过的 RLHF 就是这步的一种。两步下来,它才既会说人话、又大致懂分寸。缺了第二步,它嘴更野、更容易胡咧。

它真有「脑子」吗:聪明是概率,不是理解

说句扎心的:它现在的「聪明」,是概率堆出来的,不是真懂。你问「一斤棉花和一斤铁谁重」,它大概率答对,不是因为它懂物理,是因为这题网上被讲烂了、它见多了。你换道拐弯的、网上少见的,它就容易露怯、开始编。所以它像是背了海量例子的「老油条」,见过的稳、没见过的慌。这点分寸得拿住:它能帮你起草、总结、翻译,但拿它当真理源,容易翻车。

别把它当神仙:能干啥、干不了啥

咱用它的姿势得摆正。它能干的:写个初稿、理个思路、翻个语言、陪你头脑风暴,省你一堆机械活儿。它干不利的:给你确诊病情、替你做投资决定、当法律依据——这些它一不懂二不负责,瞎编你还发现不了。所以老哥我一句话:把它当趁手的笔、不累的助手,别当会算命的神仙。用得明白,它香;供起来,迟早呛水。

相关文章

涌现能力是什么?小模型不会、大模型突然会

涌现能力是什么?小模型不会、大模型突然会

有些能力很奇怪:模型小的时候完全没有,参数涨到一定规模,突然就会了——像攒够了人数才会涌现的“人浪”。这种“量变到质变”叫涌现能力(Emergence)。这篇文章用“凑人数”和“水温烧开”两个比喻,讲…

梯度下降是什么?模型靠不断试错找到最优解

梯度下降是什么?模型靠不断试错找到最优解

训练一个 AI 模型,本质是解一道没有标准答案的难题:怎么调那几十亿个参数,让模型的预测最接近真实?梯度下降就是工程师手里最常用的“导航仪”——它不要求一步到位,而是每次朝“让错误变小”的方向挪一小步…

数据标注是什么?AI 背后的“人工”功课由谁打标

数据标注是什么?AI 背后的“人工”功课由谁打标

我们总说 AI 靠数据训练,却很少问:那些训练用的“标准答案”是谁写的?很大一部分来自数据标注——真人一条条给图片打框、给文本分类、给语音转写。没有这层笨功夫,很多模型根本学不会。这篇文章用“给老师批…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

批归一化是什么?深度学习训练为什么要先把每层摆正

批归一化是什么?深度学习训练为什么要先把每层摆正

训练神经网络时有个隐蔽麻烦:前面层一变,后面层输入的分布就跟着飘,模型得不断重新适应,学得慢又抖。批归一化的解法是,在每个小批次里把层的输入「摆正」——均值拉到 0、方差归到 1。本文用军训排队和恒温…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…

扩散模型是什么?AI 画画为何先加噪再一步步去噪

扩散模型是什么?AI 画画为何先加噪再一步步去噪

你用 AI 生图时多半纳闷:它咋凭一句话就吐出一张画?不少模型走的是「扩散」路线——先往图上狂加噪点变成雪花,再一点点把噪擦掉、顺手把画显影出来。本文用洗照片和除雾的比喻,讲清这套反直觉的生图魔法到底…

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

打开购物、短视频、音乐 App,它总能精准推你爱看的那一口——这背后站着推荐系统。它不像人靠直觉,而是拿你点过、跳过、买过的痕迹当线索,给人和内容两边打分配对。本文用红娘和书架的比喻,讲清它怎么从你的…