当前位置:首页 > AI科普

模型为啥啥也没学会?聊聊欠拟合这个没睡醒的看门大爷

xinhack1周前 (11-02)AI科普27

模型为啥啥也没学会?聊聊欠拟合这个没睡醒的看门大爷 AI科普

啥叫欠拟合:题都做不对,还聊啥举一反三

过拟合咱前面聊过,模型把训练题背成了标准答案,换个花样就傻。欠拟合正好反过来——它连训练题都没整明白,老师在黑板上讲的例题它都做错,更别提考试遇新题了。打个比方,就像雇了个看门大爷,连谁是自己人、谁是生脸都分不清,天天把老板拦在门外,把推销的放进屋。这号模型,压根没「学进去」,你说它泛化、说它聪明,都是白扯。

长相好认:训练和考试两头都拉胯

认欠拟合有个笨办法:看它的成绩单。模型在训练集上就错一大片,准确率上不去;拿去测试集一考,照样稀碎。这跟过拟合正好相反——过拟合是训练集满分、测试集露怯,是「家里横、出门怂」;欠拟合是「家里门外都怂」,一处都没占着。所以你瞅见一条曲线,训练误差和测试误差都高高的、死活下不来,八成就是这位没睡醒的看门大爷在值班。

根子在哪:模型太笨,或活儿没干到位

欠拟合一般俩出处。一是模型本身太简单,好比你拿个一元一次方程去拟合一条弯弯曲曲的曲线,再怎么拧参数也对不上,因为它「表达能力」就那么点儿,装不下数据的弯弯绕。二是活儿没干到位:特征没选好、训练时间太短、参数设得保守,模型还没来得及把规律摸出门道就停了。就像让小学生做高数,不是他不努力,是课本和本事都不配套。

跟过拟合凑一对:一个没学会,一个学过了头

这俩是一对反义词,摆在一起好记。欠拟合是「学不够」,模型太简单、训练太浅,连该记的都没记住;过拟合是「学过头」,模型太复杂、把训练题里的噪声都当真理背了,换个新题就懵。一个欠、一个过,都不到位。老程序员调模型,多半就在它俩之间来回拧那根旋钮,找个不上不下、刚刚好的平衡点,这活儿叫偏差方差权衡,后面咱单独聊。

咋把它叫醒:加料、加复杂、调到位

治欠拟合路子也直白。模型太笨就换个复杂点的,比如从直线换成曲线、从浅网络加深几层,让它「表达得动」;特征不行就重新挑、多造点有用的特征,别拿一堆没用的糊弄它;训练太浅就多练几轮、把学习率调合适,别练两下就收工。一句话:给它配得上任务的本事,再把活儿干足,它自然就醒过来了。这比治过拟合省心,因为方向明摆着——往「更强」拧就对了。

心里有杆秤:不是越复杂越好

但咱也别矫枉过正。为了不治欠拟合,咣当塞个巨复杂的模型,容易一脚踩进过拟合的坑,按下葫芦浮起瓢。所以加复杂度要一点点试,看训练误差和测试误差是不是一起往下走;一旦测试误差不降反升,就说明拧过头了。模型这玩意儿,跟炖肉一个理——火候到了就成,过火就柴。差不多得了,是老炮的口头禅,也是真经验。火候这东西急不得也欠不得,得自己多拧几回才有手感。

相关文章

嵌入到底是什么?一文看懂文字变成坐标的原理

嵌入到底是什么?一文看懂文字变成坐标的原理

你会说“苹果”和“香蕉”很接近、“苹果”和“坦克”很远,但计算机只认 0 和 1。嵌入(Embedding)就是把每个词变成一长串数字坐标,让意思相近的词在坐标系里也挨得近。这篇文章用“地图”和“图书…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

Transformer 是什么?现代大模型的共同骨架

Transformer 是什么?现代大模型的共同骨架

今天几乎所有厉害的大语言模型——从聊天机器人到翻译器——背后都站着同一个架构:Transformer。它不像老式模型那样一个字一个字硬啃,而是让一句话里所有词同时“互相看一眼”,谁和谁相关一眼锁定。这…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

不是所有 AI 都靠神经网络。决策树用一连串「是或否」的问题就把复杂判断拆解清楚,随机森林再把很多棵树凑一起投票。本文用银行放贷和聚会分桌的比喻,讲清这套直观又稳健的经典算法,以及它为什么至今仍被广泛…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…