当前位置:首页 > AI科普

「搜索为啥懂意思了?聊聊语义搜索这回事」

xinhack2天前AI科普22

「搜索为啥懂意思了?聊聊语义搜索这回事」 AI科普

一句话结论:搜索从对字升级成懂意了

老式搜索像查字典,你打苹果手机,它满世界找带这俩字的页面,多打错一个字就傻眼。语义搜索不这么干,它先把你的问题和库里每篇文档都变成一串数字,再比意思挨得近不近。你问哪款果子牌手机好,它也能懂你在说 iPhone。米岸AI 觉得这事儿最该讲给普通人听,搜索的底层早换脑子了,还拿老眼光看搜索就亏了。

老搜索的死穴:认字不认意

关键词搜索靠倒排索引,本质是字面命中。好处是快、好解释;坏处是它不懂同义词、不懂上下文。降价和打折它当两码事,苹果是水果还是公司它分不清。用户得猜检索系统爱听啥词,挺累的。更要命的是长问题它接不住,你问一句大白话,它只会机械切词去匹配,答非所问是常事,体验卡在字面这一层。

语义搜索靠向量量远近

它先调用一个 Embedding 模型,把文字压成一长串浮点数,意思相近的文字,这串数也挨得近。检索时,把你的问题也变成向量,去库里找距离最近的那几条。距离近不近,常用余弦相似度来量。这就像给每篇文章在语义地图上标个点,你的问题也标个点,看谁离得近就娶谁。所以哪怕用词完全不同,只要意思贴边,照样能捞出来。

它也不是万能,得搭配着用

纯语义搜索有时太感性,精确的人名、型号反倒找不准。所以现在主流是混合检索,关键词那套保精确,语义这套补理解,两头结果再让一个重排序模型排个先后。要我说,这跟老中医搭西医一个理,各管一摊,合起来才稳。单靠哪一边都不够,混合起来既准又懂你,才是现在的主流做法。

普通人能蹭上这波红利吗

能,而且已经在用了。你问 AI 助手帮我找上周那份讲预算的文档,它背后多半就是语义检索在干活。做内容、做客服知识库的人,把资料向量化后搜,体验能上一个台阶。米岸AI 整理这类科普,也是想让更多人知道,搜索早不是 Ctrl 加 F 那个年代了,你用大白话问,它真能听懂个七八成。

常见问题

问:语义搜索比关键词搜索慢很多吗?

答:建库时要多一步向量化,但检索时靠向量索引也很快。用户体验反而更跟手,因为不用你字字斟酌,差个字也能搜到。

问:它真能懂意思吗?

答:别神话,它懂的是统计意义上的语义相近,不是真理解。冷门领域、黑话它可能翻车,所以常配关键词兜底,两头一起上才稳。

问:我想给自己资料做语义搜索,难不难?

答:现在有不少现成向量库和 Embedding 接口,搭个简易版不难。难在切分文档和调重排序,这两步调好体验才顺,其余都是现成积木。

问:米岸AI 为啥单独聊它?

答:因为它是 RAG、智能问答这些热闹玩意儿的根基,搞懂它,上面那些花活儿你一眼就看清了,不会被新词绕晕。

本文由米岸AI整理。

相关文章

知识蒸馏是什么?大模型怎么把本事传给小模型

知识蒸馏是什么?大模型怎么把本事传给小模型

大模型的本事强,但太重,跑不动在手机上;小模型轻,但没那么聪明。知识蒸馏像“师傅带徒弟”:让大模型一边答题一边把思路教给小模型,小模型不用重头学,也能学到七八成本事。这篇文章用师徒关系讲清蒸馏的原理和…

模型量化是什么?一文看懂手机为什么能跑大模型

模型量化是什么?一文看懂手机为什么能跑大模型

同样一个模型,在云端跑得动,塞进手机却卡死,问题常常出在“精度”。量化(Quantization)就是把模型里成千上万的小数“四舍五入”成更小的数,体积和算力需求大幅降下来,效果却几乎不掉。这篇文章用…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

不是所有 AI 都靠神经网络。决策树用一连串「是或否」的问题就把复杂判断拆解清楚,随机森林再把很多棵树凑一起投票。本文用银行放贷和聚会分桌的比喻,讲清这套直观又稳健的经典算法,以及它为什么至今仍被广泛…

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

传统模型只会做练过的题,换个没见过的类别就傻眼。零样本学习偏要让模型答没复习过的题——靠的是把类别、文字描述这些语义信息带进来,让没见过和见过在意义层面接上头。本文用查字典和跨语种猜词的比喻,讲清它和…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…

扩散模型是什么?AI 画画为何先加噪再一步步去噪

扩散模型是什么?AI 画画为何先加噪再一步步去噪

你用 AI 生图时多半纳闷:它咋凭一句话就吐出一张画?不少模型走的是「扩散」路线——先往图上狂加噪点变成雪花,再一点点把噪擦掉、顺手把画显影出来。本文用洗照片和除雾的比喻,讲清这套反直觉的生图魔法到底…