当前位置:首页 > AI科普

训练、微调、推理:大模型从学会到上岗的三步

xinhack3周前 (10-18)AI科普66

训练、微调、推理:大模型从学会到上岗的三步 AI科普

三个阶段,像人从上学到工作

把大模型想象成一个要入职的毕业生:先上大学广泛打基础(预训练),再参加岗前培训学具体业务(微调),最后真正坐班为你服务(推理)。三个阶段花费差别巨大,目的也完全不同,混为一谈就容易误解 AI 的成本和能力。预训练是造地基,微调和推理是在地基上盖楼、住人。看懂这条链路,你就不会再把"训练"两个字当成一件简单的小事,也不会被"我们重新训练了一个模型"这种话轻易吓住。

预训练:先广泛地读

预训练是第一步,也是花钱最多的一步。厂商把几乎整个互联网的文本喂给模型,让它学会语言的规律、基本常识和世界知识。这一步跑一次要几周、耗电惊人,产出的叫"基础模型"。它啥都懂一点,但还没学会怎么好好听人话、按格式答,像一个博览群书却没入职的社会人。基础模型是公共起点,之后各家才在此之上各显神通,有的做对话,有的做代码,方向就此分叉。

微调:教它具体怎么答

基础模型像刚毕业的通才,微调则是岗前培训。用精心准备的一问一答数据,教它"用户这么问,你应该那么回",甚至植入安全底线。这一步数据量小得多,费用也低,很多公司就是在现成基础模型上做微调,做出自己的专属模型。比如客服模型,就靠微调学会了本公司的产品话术和礼貌用语,摇身一变成了"自己人"。微调让通用模型落地到具体场景,是大多数企业真正用得上的一步。

推理:真正为你干活

推理是你 everyday 用 AI 的阶段:你提问,模型现场计算并吐出回答。它不改动内部参数,只是"调用"已经学到的能力。你每次聊天、每次生成,都是在触发一次推理。这一步按量计费,也是普通用户唯一直接买单的环节。你花的每一分钱,买的都是这一刻的"临场发挥",而不是重新训练一个模型。推理越快越便宜,AI 才越能走进日常、随时为你所用。

为什么区分它们有用

知道了三段论,你就明白:参数的"聪明"主要在预训练,而你能调的体验多在微调。要省钱,别碰预训练;要做专属助手,微调比重新训练现实得多。理解这三点,再看厂商宣传就不容易被带跑,也不会被"我们自研大模型"这类话轻易唬住。开口问一句"是在基础模型上微调的吗",往往就能看清成色,也更能判断它值不值那个价。一句话记住:预训练打底,微调定型,推理上岗——这三步,就是大模型从数据到服务的全部旅程。

相关文章

嵌入到底是什么?一文看懂文字变成坐标的原理

嵌入到底是什么?一文看懂文字变成坐标的原理

你会说“苹果”和“香蕉”很接近、“苹果”和“坦克”很远,但计算机只认 0 和 1。嵌入(Embedding)就是把每个词变成一长串数字坐标,让意思相近的词在坐标系里也挨得近。这篇文章用“地图”和“图书…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

给 AI 准备带标签的数据很贵——得雇人一条条标。自监督学习绕开这道坎:它不给标准答案,而是把数据自己拆成「题」和「答案」,让模型在填空、比对中练出对世界的理解。本文用完形填空的比喻,讲清它怎么让大模…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…