当前位置:首页 > AI科普

嵌入到底是什么?一文看懂文字变成坐标的原理

xinhack3周前 (10-19)AI科普57

嵌入到底是什么?一文看懂文字变成坐标的原理 AI科普

计算机眼里没有“意思”,只有数字

人看文字靠的是经验和常识:听见“猫”就知道是动物,听见“银行”能分清是存钱的地方还是河岸。但计算机一开始只认 0 和 1,它不知道“猫”和“狗”都是宠物,也不知道“高兴”和“开心”差不多。想让机器处理语言,第一步就是把这些词变成它能算的东西——一串数字。问题是怎么变,才让“意思接近”的词在机器里也显得接近。

嵌入就是把词摆进一张看不见的地图

嵌入(Embedding)干的事,相当于给每个词在一张多维“地图”上安排一个坐标。不是平面上的 x、y 两点,而是几百甚至上千个维度。维度太多人脑想象不了,但道理和地图一样:坐标越接近,关系越近。比如“国王”和“女王”的坐标挨着,“国王”和“苹果”的坐标离得远。这一下,机器虽然没有“理解”词义,却能用算距离的方式,把语义关系表达出来了。

意思相近的词,坐标也挨得近

最妙的地方在于,这种坐标不是人手动标出来的,而是模型从海量文本里自己“学”出来的。它发现“猫”和“狗”经常出现在相似的句子里,就把它们摆近;发现“买”和“卖”常成对出现,也让它们保持固定的相对位置。甚至还能做加减运算:“国王”减“男人”加“女人”约等于“女王”。这说明坐标里真的编码了某种语义关系,而不是随机乱摆。

不只是词语,句子和图片也能嵌入

词能变成坐标,句子、段落、甚至图片也能。一段文字整体压成一个向量,一张图也能压成一个向量。这就打开了搜索的新玩法:你用一句话去搜图片,系统和你把两边都变成坐标,再看谁离得近。很多“以文搜图”“相似文章推荐”背后,靠的都是同一套嵌入思路——把所有东西摆进同一个坐标空间,再用距离衡量像不像。

嵌入为什么是 AI 理解语言的地基

今天的大语言模型,第一步几乎都要把输入的文字转成嵌入。可以把它想成翻译:人类说的“话”,先翻译成机器能计算的“坐标语言”,模型在坐标空间里做运算,最后再把结果翻译回文字。没有嵌入这一步,模型面对的只是一堆互不相关的符号,谈不上任何语义。所以嵌入虽不显眼,却是整座语言 AI 大厦的地基。

普通用户能感受到嵌入的地方

你不一定直接接触“嵌入”这个词,但早就用到了它的成果:搜“怎么缓解熬夜头疼”,出来的却是一篇讲“睡眠不足头痛”的文章,这是语义搜索;网盘自动把相似照片归到一起,是图像嵌入;翻译软件能分辨“苹果公司”和“吃苹果”,也靠词义坐标。下次觉得 AI“好像懂了点意思”,多半是嵌入在背后悄悄把话摆进了地图。

相关文章

注意力机制是什么?大模型读懂一句话的关键

注意力机制是什么?大模型读懂一句话的关键

我们常说大模型能理解上下文,靠的其实是"注意力机制"。它让模型在处理每个词时,自动决定该重点看句子里的哪些部分。本文用读句子的日常经验,讲清注意力机制到底在做什么。…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

传统模型只会做练过的题,换个没见过的类别就傻眼。零样本学习偏要让模型答没复习过的题——靠的是把类别、文字描述这些语义信息带进来,让没见过和见过在意义层面接上头。本文用查字典和跨语种猜词的比喻,讲清它和…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

打开购物、短视频、音乐 App,它总能精准推你爱看的那一口——这背后站着推荐系统。它不像人靠直觉,而是拿你点过、跳过、买过的痕迹当线索,给人和内容两边打分配对。本文用红娘和书架的比喻,讲清它怎么从你的…