当前位置:首页 > AI科普

AI 怎么把词语变成能算的数字?聊聊词嵌入这个翻译官

xinhack2周前 (10-28)AI科普22

AI 怎么把词语变成能算的数字?聊聊词嵌入这个翻译官 AI科普

先说个尴尬事:计算机只认数字

你跟 AI 打字聊天,它一脸「懂你」的样子。可扒开看,计算机这玩意儿骨子里只认 0 和 1,压根不认汉字。那「苹果」两个字,它是怎么变成一个能参与计算的数字的?答案就是「词嵌入」。说白了,这是一道翻译:把人类语言里的词,翻译成一串计算机能算、能比远近的数字。没有这道翻译,AI 连「苹果」和「梨」哪家近都分不清,更别提理解语义了。你品品,语言是给人的,数字是给机器的,词嵌入就是中间那座桥。

词嵌入干啥:给每个词发一张「意义坐标」

词嵌入干的事,是给每个词分配一长串数字(业内叫向量),这串数字相当于这个词在「意义地图」上的坐标。坐标怎么定?不是人拍脑袋,是模型在读海量文本时自己学出来的——经常出现在相似语境里的词,分到的坐标就靠近。于是「苹果」和「水果」离得近,「国王」和「女王」离得近,「猫」和「狗」也凑一块儿。它不是在背字典,是在从真实用法里摸索词的「邻居关系」。我跟你讲,这一步是 AI 能「理解」语言的基础,没有它,机器看词就是一堆互不相关的乱码。

打个比方:给词在地图上找位置

把每个词想成一座城市,词嵌入就是给每座城在地图上标个经纬度。意思相近的词,像北京和天津,在地图上挨着;八竿子打不着的词,像北京和南极,隔得老远。AI 判断两个词「像不像」,不用真的懂意思,只需要量一量它们在地图上的距离——近的就当亲戚,远的就当路人。你看,多实在:理解语言不用先搞懂语义哲学,先把「谁和谁常混在一起」量化出来,机器就能开始像模像样地比关系了。

妙处:意思近的词,住得近

这套坐标最妙的地方在于,它把「语义相近」变成了「距离相近」。于是很多事就顺了:你搜「便宜的手机」,模型知道把「实惠的手机」「平价手机」也算进来,因为它们在地图上是邻居;做翻译时,「苹果」在「我吃了一个苹果」里靠近水果,在「苹果公司」里靠近科技,模型能靠上下文把它摆到对的位置。这不是魔法,是向量空间里「近朱者赤」的几何规律。对咱们来说,翻译成人话就是:AI 之所以能懂同义词、懂语境,靠的是这张看不见的意义地图。

还能算关系:「国王减男人加女人≈女王」

词嵌入还有个名场面:在向量里做加减法居然能推出关系。经典例子是「国王 - 男人 + 女人 ≈ 女王」——模型从数字里自动学出了「性别」这个维度,一减一加就把王位上的主角换个性别。这听着像玄学,其实是它从海量文本里把「国王和男人、女王和女人」的共现规律塞进了数字。当然它不总是准,但这足以说明:词嵌入抓到的不只是「这个词长啥样」,而是「这个词跟世界怎么相处」。这层关系,正是后面所有语义理解的燃料。

实在话:它只是翻译,不是理解

得泼盆冷水:词嵌入让机器「能算词的关系」,不代表它真「懂」词。它只是在数字世界里把语义结构复刻了一份,离「理解」还差着因果、常识、意图这些硬骨头。对咱们普通用户,知道这点就够了——你用的翻译、搜索、推荐之所以「猜得准」,底层站着词嵌入这张意义地图;但它偶尔翻车,把不相干的词搞成邻居,也是因为这张图是从数据里「猜」出来的,不是从字典里「查」出来的。多说一句:现在大模型很少直接用最原始的固定词嵌入了,多半进化成「同一个词在不同句子里坐标会变」,根儿上还是「把语言变成能算的数字」。咱们不钻细节,记住一句就够:AI 读懂语言的第一步,是先给每个词发一张意义地图的坐标,近的当亲戚、远的当路人,后面的智能全从这串数字里长出来。

相关文章

迁移学习是什么?让 AI 把在一个领域学的本事用在新地方

迁移学习是什么?让 AI 把在一个领域学的本事用在新地方

人学会骑自行车后,再学骑电动车会快很多——因为平衡感这类“底层能力”是通用的。AI 也有类似本事,叫迁移学习:把模型在任务 A 上练出的基础能力,搬去帮任务 B 上手。它让小数据也能训练出好模型。这篇…

少样本学习是什么?大模型为什么看几个例子就会

少样本学习是什么?大模型为什么看几个例子就会

老式 AI 要学一样东西得喂成千上万条样本,今天的大模型却看两三个例子就能上手。这种「少样本学习」靠的是预训练积累的通识,而不是从零学起。本文用看样例学做事的比喻,讲清它为什么管用、又在哪里会翻车,以…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

把数据集中到一处训练 AI,最怕隐私和合规这关——没人愿意把聊天记录、病历乖乖上交。联邦学习换了思路:模型下发到各台设备,数据不出本地,只把「学到的改动」传回来汇总。本文用集体写书和老师批作业的隐喻,…

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

传统模型只会做练过的题,换个没见过的类别就傻眼。零样本学习偏要让模型答没复习过的题——靠的是把类别、文字描述这些语义信息带进来,让没见过和见过在意义层面接上头。本文用查字典和跨语种猜词的比喻,讲清它和…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…

自编码器是什么?AI 怎么把复杂信息压缩再还原

自编码器是什么?AI 怎么把复杂信息压缩再还原

你手机传照片会先压缩,AI 也有一套类似的「打包术」叫自编码器:它先把数据压成一小团精华,再试着还原回去,逼自己只留住最要紧的特征。本文用搬家断舍离和缩略图的比喻,讲清它怎么顺手干成了降噪、找异常这些…

大模型为什么会一本正经胡说八道?一文讲清 AI 幻觉到底是什么

大模型为什么会一本正经胡说八道?一文讲清 AI 幻觉到底是什么

你有没有遇过让 AI 写资料,它甩出一堆看起来像那么回事、实则张冠李戴的内容?这叫「幻觉」。本文用大白话讲清幻觉到底是啥、模型为啥会一本正经地编、哪些场景最容易翻车,再给你几招普通人就能用的防坑办法,…