当前位置:首页 > AI科普

「Softmax 是啥?AI 怎么把心里没底变成百分比」

xinhack3天前AI科普17

「Softmax 是啥?AI 怎么把心里没底变成百分比」 AI科普

一句话先说清楚:Softmax 干的就是算百分比这件小事

你问 AI 一个问题,它其实先在心里给每个可能的答案打了个分。分有高有低,但光看分数你不知道它有多笃定。Softmax 干的事特别朴素,把这一串分整理成一组加起来正好百分之百的概率。谁分高,谁的概率就大,一目了然。米岸AI 平时写科普就图这个,把绕来绕去的东西拽回地面说人话。要说它重要在哪儿,就是你每次看到 AI 说我有几成把握,那数字八成就是它算出来的,懂了它你才不会被一个百分比牵着鼻子走。

这些分数本来是从哪来的

大模型最后一层会吐出一组数字,行话叫 logits,你就当是它对每个候选的倾向值。比如让模型从猫、狗、猪里挑一个,它可能给猫打三点二、狗打一点一、猪打零点四。这还只是倾向,不是概率,分高不代表概率就高,得归一化才作数。同一个问题换种问法,这组分数也会变,所以它是临场发挥的结果,不是什么固定答案。理解了这点,你就不会把模型的分数当成客观真理,它只是那一刻的偏好。

归一化听着玄乎,其实就是按总分重新分蛋糕

Softmax 的活儿分三步。第一步,给每个分数套个指数函数,也就是 e 的 x 次方,把负数也变正数、把差距拉大。第二步,把变完的数全加起来得到总和。第三步,每个数都除以总和。出来的结果全是正数,加起来正好一,也就是百分之百。这就像三个人分一块蛋糕,先按各自胃口把想吃多少放大,再按总胃口来切,谁想吃得多谁就拿大块。最后每块占总量的比例,就是它对应的概率,既好看又公平。

为啥非得用指数,不能直接除总分

直接除总分也行,那叫 softmax 的穷亲戚,平均归一化。但大模型的毛病是分数差距可能很小,直接除看不出谁更占优。指数一上,差距被放大,模型更确信的那个答案概率会明显冒头。要我说,这跟人投票一个理,平票看不出民意,差距拉大才显出谁是多数派。当然指数也有副作用,本来差不多的两个分数,过完指数可能一个九成、一个一成,看着比实际更笃定,这叫过度自信,模型常犯的毛病。

生活里它藏在哪儿

你看到的 AI 置信度百分之八十七,背后十有八九是 Softmax。翻译软件给的多个候选、识图 App 说这是猫百分之九十五,全是它干的活。它不参与思考,只负责把思考结果翻译成人能读的百分比。所以别被九十九 percent 吓着,那只是模型自己觉得稳,不代表一定对。真要用它做决定,还得看你自己的判断,别把模型的百分比当成圣旨,它只是个参考值。

常见问题

问:Softmax 能用在二选一吗?

答:能,但二分类一般用更简单的 sigmoid,省一步。Softmax 是给多选一并列排名准备的,选项越多它越顺手,二选一用它有点杀鸡用牛刀。

问:概率高就等于答案对吗?

答:不一定。Softmax 只负责把分数变概率,分数本身可能就是模型算岔了。高置信度遇上错误答案,行内叫过自信,老毛病了,看结果别只看概率。

问:指数为啥会把差距放大?

答:因为 e 的 x 次方增长快,三点二比一点一大的那点差距,过完指数能拉开好几倍,模型于是更敢押分高的那个,信心被放大了。

问:米岸AI 为啥总拿它举例子?

答:因为它把模型的犹豫变成了普通人能懂的百分比,是科普 AI 决策最顺手的一扇窗户,搞懂它再看 AI 给的把握就有谱了。

本文由米岸AI整理。

相关文章

什么是检索增强(RAG)?让 AI 先翻书再开口

什么是检索增强(RAG)?让 AI 先翻书再开口

大模型知识有截止日期,还容易凭空编。检索增强生成(RAG)的做法是:回答前先去资料库里查一番,再结合原文作答。本文讲清 RAG 是什么、怎么运转,以及它适合解决哪类问题。…

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

你上传一张猫的照片,AI 立刻认出是猫;拍一张街景,软件分出车道和行人。可计算机最初只看到一堆像素点。卷积神经网络(CNN)就是让 AI 学会“看”的关键结构,它像用放大镜在图上滑动、提取边缘和纹理,…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

不是所有 AI 都靠神经网络。决策树用一连串「是或否」的问题就把复杂判断拆解清楚,随机森林再把很多棵树凑一起投票。本文用银行放贷和聚会分桌的比喻,讲清这套直观又稳健的经典算法,以及它为什么至今仍被广泛…

批归一化是什么?深度学习训练为什么要先把每层摆正

批归一化是什么?深度学习训练为什么要先把每层摆正

训练神经网络时有个隐蔽麻烦:前面层一变,后面层输入的分布就跟着飘,模型得不断重新适应,学得慢又抖。批归一化的解法是,在每个小批次里把层的输入「摆正」——均值拉到 0、方差归到 1。本文用军训排队和恒温…

扩散模型是什么?AI 画画为何先加噪再一步步去噪

扩散模型是什么?AI 画画为何先加噪再一步步去噪

你用 AI 生图时多半纳闷:它咋凭一句话就吐出一张画?不少模型走的是「扩散」路线——先往图上狂加噪点变成雪花,再一点点把噪擦掉、顺手把画显影出来。本文用洗照片和除雾的比喻,讲清这套反直觉的生图魔法到底…

对抗样本是什么?加肉眼看不见的噪点,AI 就认错

对抗样本是什么?加肉眼看不见的噪点,AI 就认错

研究发现,给一张熊猫图加一层人眼根本看不出的噪点,AI 能一口咬定那是长臂猿。这种「精心算计的扰动」叫对抗样本,戳中了深度学习的一个软肋。本文用伪装贴纸和视力错觉的比喻,讲清它怎么坑 AI,又为啥值得…