当前位置:首页 > AI科普

老师只改了一半作业?聊聊半监督学习这个靠自己悟的套路

xinhack1周前 (11-02)AI科普22

老师只改了一半作业?聊聊半监督学习这个靠自己悟的套路 AI科普

先复习俩老伙计:监督和自监督

前面聊过三种学习范式。监督学习最像学生做题:每道题都配好了标准答案,模型照着对、照着学。无监督学习反过来:一股脑把没答案的数据甩给它,让它自己从里头找结构、找规律。这俩各有各的难——监督学习费标注,无标注的数据堆成山却用不上;无监督学习没答案兜底,学出来的东西常常飘。半监督学习,就是盯着这俩的缝儿,想了个「两头沾光」的招。

半监督是啥:少量有答案,大量自己悟

说白了,半监督学习是这么个套路:你手上有一小撮「带答案」的数据,和一大堆「没答案」的数据。它先用那小撮带答案的把模型领进门、定个调,再拿那一大堆没答案的接着练,让模型自己从里头悟规律。就像老师只改了前几本作业打样,剩下的几十本让你照着样自己琢磨。现实里这招特别香,因为标数据又贵又慢,没标的数据却到处都是,不拿来用纯属浪费。

它靠啥能「自己悟」:相近的东西多半一类

你肯定纳闷:没答案它咋学?靠一个朴素假设——挨得近的东西,大概率是一伙的。模型先把所有数据在心里摆成一个个位置,离得近的归拢到一块儿;既然少数几个已经有了标签,它就有理由相信:跟你这标签样本挨得近的陌生样本,八成也是同类。这思路跟前面聊的 K 近邻一个脾气。靠这个「近朱者赤」的假设,模型就能拿少量答案,把一大片没答案的也大致分好类。

常见玩法:先自己分,再拿答案校准

实操里常见两招。一招叫「自我训练」:模型先用带答案的练一版,然后给没答案的数据「自测」,把那些它最有把握的猜测当成「伪答案」加进去继续练,滚雪球似的越滚越大。另一招叫「图约束」:干脆假设相近的样本该有相近的输出,逼着模型在预测时照顾邻居。俩招核心一样——用「近者为邻」这个软规矩,把稀疏的答案稀释到海量无标签数据上。

在哪儿真顶用:标不起数据的场景

这招在标数据贵到肉疼的地方最吃香。比如医学影像,找个专家标一张片子要好半天,可医院里没标的片子海了去;半监督就能拿少量专家标注带路,顺着把大批片子先分个大概。再比如语音,录一段容易、逐字标转录累死人,半监督能省下大把人工。它不追求每一条都精准,而是用少量贵答案撬动大量便宜数据,性价比这块拿捏得死死的。

坑也得说清:假设错了就跟着歪

但它有个软肋:那个「相近即同类」的假设,不是永远灵。万一数据本身乱、噪声大,模型自己悟歪了,还会把错答案当真答案继续练,越练越偏,这叫「确认偏差」放大。所以半监督不是万能药,数据质量稀烂时它比监督学习还容易翻车。咱用的时候得心里有数:答案样本得靠谱、数据得干净,这招才灵;否则还不如老老实实多标点数据。

相关文章

知识蒸馏是什么?大模型怎么把本事传给小模型

知识蒸馏是什么?大模型怎么把本事传给小模型

大模型的本事强,但太重,跑不动在手机上;小模型轻,但没那么聪明。知识蒸馏像“师傅带徒弟”:让大模型一边答题一边把思路教给小模型,小模型不用重头学,也能学到七八成本事。这篇文章用师徒关系讲清蒸馏的原理和…

梯度下降是什么?模型靠不断试错找到最优解

梯度下降是什么?模型靠不断试错找到最优解

训练一个 AI 模型,本质是解一道没有标准答案的难题:怎么调那几十亿个参数,让模型的预测最接近真实?梯度下降就是工程师手里最常用的“导航仪”——它不要求一步到位,而是每次朝“让错误变小”的方向挪一小步…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…