当前位置:首页 > AI科普

训练 AI 的数据从哪来?它到底在学什么

xinhack3周前 (10-18)AI科普58

训练 AI 的数据从哪来?它到底在学什么 AI科普

模型不是凭空聪明

很多人以为 AI 是工程师写死的规则,其实不是。大模型的能力,绝大部分来自它"读过"的数据。你可以把它想成一个读了几乎整个互联网的海量读者,它的语感、常识甚至偏见,都来自这些读过的文字。数据,就是它的粮食。没有数据,再精巧的算法也只是空壳,什么也生成不出来,更谈不上什么"智能"。你喂给它什么,它大致就会长成什么样子,这一点怎么强调都不为过。

训练数据长什么样

常见来源有几类:公开的网页文章、书籍、论坛讨论、代码仓库,以及经过人工整理的对答数据。这些数据被清洗、去重、过滤掉垃圾和敏感内容后,切成一段段喂给模型。模型做的核心练习,是"看完前半句,预测后半句",在海量预测中摸熟语言的脉络。它从不停背答案,而是在反复预测里归纳出规律,这种规律最终就沉淀成了那几千亿个参数。所谓"训练",练的其实就是这层对语言的直觉。

质量还是数量

二者都重要,但质量常常被低估。一堆低质、重复、充满错误的数据,只会教出爱说胡话的模型;而干净、多样、有代表性的数据,能让模型学得更稳。业界有句话:垃圾进,垃圾出。选什么数据,几乎决定了模型会成为什么样子。近年很多团队发现,精挑细选的小数据,效果能胜过粗放的大数据,质量正在重新被摆到数量之前。挑数据,正在成为比堆算力更关键的功夫。

数据也有"保质期"

模型的训练数据截取自某个时间点,之后的事它没见过。所以越是新近的事件、刚出的产品,它越容易答错或编造。这也是为什么很多应用要给模型接上实时检索——用新数据补上它的"保质期"缺口。把模型当成一本出版于某年的书,它能答的,只到封底那个日期之前;那一天之后的世界,它需要我们额外喂给它。意识到这点,你就不会再拿过时的问题去为难一个"停在过去"的模型。

普通人的启示

你给 AI 的提问质量,其实也像在喂它数据:描述越清楚、例子越具体,它越能贴近你的需求。理解"AI 吃数据长大",你就知道为什么它既博学,又偶尔会停留在过去。写好提示词,本质是替它把"资料"准备得更到位——你给的上下文越干净,它给出的答案就越靠谱。把它当成一个记忆力极好、但只活在训练时点里的同事,相处起来反而更顺手。数据的好与坏,最终都会原样体现在它说的每一句话里,所以别怪模型"胡说",先看看喂给它的是什么。

相关文章

训练、微调、推理:大模型从学会到上岗的三步

训练、微调、推理:大模型从学会到上岗的三步

很多人把"训练 AI"想成一件事,其实大模型要经历预训练、微调和推理三个阶段,各有各的花费和目的。本文用"上学—培训—上岗"的比方,理清这条从数据到服务的完整链路。…

什么是检索增强(RAG)?让 AI 先翻书再开口

什么是检索增强(RAG)?让 AI 先翻书再开口

大模型知识有截止日期,还容易凭空编。检索增强生成(RAG)的做法是:回答前先去资料库里查一番,再结合原文作答。本文讲清 RAG 是什么、怎么运转,以及它适合解决哪类问题。…

Transformer 是什么?现代大模型的共同骨架

Transformer 是什么?现代大模型的共同骨架

今天几乎所有厉害的大语言模型——从聊天机器人到翻译器——背后都站着同一个架构:Transformer。它不像老式模型那样一个字一个字硬啃,而是让一句话里所有词同时“互相看一眼”,谁和谁相关一眼锁定。这…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

少样本学习是什么?大模型为什么看几个例子就会

少样本学习是什么?大模型为什么看几个例子就会

老式 AI 要学一样东西得喂成千上万条样本,今天的大模型却看两三个例子就能上手。这种「少样本学习」靠的是预训练积累的通识,而不是从零学起。本文用看样例学做事的比喻,讲清它为什么管用、又在哪里会翻车,以…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…