当前位置:首页 > AI科普

近朱者赤近墨者黑?聊聊 K 近邻怎么靠邻居认人

xinhack1周前 (11-02)AI科普28

近朱者赤近墨者黑?聊聊 K 近邻怎么靠邻居认人 AI科普

它懒得出奇:不背公式,来了现翻邻居

大多数模型训练时吭哧吭哧学一堆参数,K 近邻偏不——它训练时几乎啥也不干,就是把所有已知样本往心里一存,完事。等来了新样本要分类,它才现翻:在记忆里找出离这个新样本最近的 K 个老邻居,看这 K 个里哪类人多,就判新样本归哪类。所以它外号「惰性学习」——平时躺平,用时再动。像极了考试不复习、临场看同桌答案的主儿,但架不住它简单好使。

核心就一句:近朱者赤,近墨者黑

它整套逻辑建立在那个朴素的理儿上:一个东西是啥,看它身边最常来往的是哪路人。你新搬来一个小区,要判断这片区啥档次,看周围邻居的车和房就心里有数了——K 近邻干的就是这个。它默认「距离近等于性质像」,所以新样本被它的老邻居们投票决定了身份。这思路人类天天在用,模型不过是把它写成了数学,拿距离当「关系亲疏」的尺子。

K 这个数:取小了敏感,取大了稳但糊

那个 K 是它唯一要调的旋钮,挺有讲究。K 取 1,就是「唯最近邻居马首是瞻」,太敏感,赶上那个邻居正好是个特例、是个噪声点,你就被带沟里了。K 取太大,比如等于总样本数,那投票结果老被最多的那类霸屏,啥新样本都判成同一类,等于没分。所以 K 一般取个不大不小的奇数,既能抗住个别怪样本,又不至于把区别都抹平——这也是老炮调参的第一课。

距离咋算:尺子不一样,邻居不一样

找邻居得有把尺。最常用的是「欧氏距离」,就是两点间的直线长短,跟咱说的最小直线距离一个理。但尺子一换,邻居可能就变:有的特征数值天生大,比如收入动辄几万,会把距离计算完全带偏,所以得先把数据「归一化」,让各特征一个量纲再比。还有的场景用「曼哈顿距离」,算的是横竖格子步数。尺子选错,找出的邻居就驴唇不对马嘴,结果自然歪。

它好在哪儿:简单、不挑食、还能解释

K 近邻招人喜欢,首先因为好懂好写,不用训练一大堆参数,新手也能上手。其次它不挑食,数据啥分布都接,线性非线性都行。最妙的是它能解释——你问它为啥判这个类,它直接把那 K 个邻居亮出来:「你看,离它最近这几个都是这类,所以归它」。这「拿证据说话」的劲儿,在要可解释性的场景挺吃香,不像某些黑盒模型只给个冷冰冰的结论。

怂在哪儿:数据一大就腿软

但别被它的简单迷了眼。它最大的软肋是「慢且费」:每来一个新样本,都得跟记忆里所有老样本比一遍距离,样本一多、特征一多,算得你脑仁疼,这叫「预测成本高」。而且它对所有特征一视同仁,垃圾特征混进来也照样干扰。所以它适合中小规模、特征不太多的问题;真上了百万级大数据,老炮一般就换别的更快的模型了,把它当个基准对照使。

相关文章

注意力机制是什么?大模型读懂一句话的关键

注意力机制是什么?大模型读懂一句话的关键

我们常说大模型能理解上下文,靠的其实是"注意力机制"。它让模型在处理每个词时,自动决定该重点看句子里的哪些部分。本文用读句子的日常经验,讲清注意力机制到底在做什么。…

过拟合是什么?为什么模型考试满分却实战翻车

过拟合是什么?为什么模型考试满分却实战翻车

训练 AI 很像备考:刷的题越偏越怪,考试分数可能越高,但真上考场就懵。过拟合说的就是模型把训练题“背”得太死,碰到没见过的新情况反而答错。这篇文章用“背题”和“学规律”的区别,讲清过拟合是什么、怎么…

模型量化是什么?一文看懂手机为什么能跑大模型

模型量化是什么?一文看懂手机为什么能跑大模型

同样一个模型,在云端跑得动,塞进手机却卡死,问题常常出在“精度”。量化(Quantization)就是把模型里成千上万的小数“四舍五入”成更小的数,体积和算力需求大幅降下来,效果却几乎不掉。这篇文章用…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

大多数模型在「判断」,生成对抗网络(GAN)却另辟蹊径地「创造」——它能凭空画出人脸、生成逼真照片。诀窍是让两个模型互相较劲:一个拼命造假,一个拼命打假。本文用假币与验钞的比喻,讲清这场猫鼠游戏怎么把…

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

把数据集中到一处训练 AI,最怕隐私和合规这关——没人愿意把聊天记录、病历乖乖上交。联邦学习换了思路:模型下发到各台设备,数据不出本地,只把「学到的改动」传回来汇总。本文用集体写书和老师批作业的隐喻,…

对抗样本是什么?加肉眼看不见的噪点,AI 就认错

对抗样本是什么?加肉眼看不见的噪点,AI 就认错

研究发现,给一张熊猫图加一层人眼根本看不出的噪点,AI 能一口咬定那是长臂猿。这种「精心算计的扰动」叫对抗样本,戳中了深度学习的一个软肋。本文用伪装贴纸和视力错觉的比喻,讲清它怎么坑 AI,又为啥值得…