当前位置:首页 > AI科普

机器咋从一段话里捞人名地名?聊聊命名实体识别

xinhack6天前AI科普41

机器咋从一段话里捞人名地名?聊聊命名实体识别 AI科普

先说人话:它干的是「捞名字」的活儿

命名实体识别,名字唬人,干的事特实在——从一段文字里,把那些「有名有姓」的玩意儿一个个捞出来,再贴上标签。人名归人名、地名归地名、公司名归公司名、时间日期归时间日期。你平时刷新闻,看见「马斯克」「特斯拉」「得州」被标成不同颜色,或者搜「苹果」只给你公司不给你水果,背后八成站着 NER 这位老编辑。它不写文章、不抒情,就专门干「分拣名字」这种细活儿,是信息提取的头道工序,机器读懂「谁在哪儿干了啥」全靠它打底。

它咋干:先认字、再归类,老套路是「标注加模型」

传统干法分两步走。第一步,得有人先把一堆句子里的人名地名用手工标好,告诉机器「这个词是人、那个词是地」——这叫标注语料,最累人,也最费钱。第二步,拿这些标好的样本去训个模型,让它能举一反三,看见新句子也知道哪儿该捞、捞出来算哪类。早年用规则硬写(「姓加名」算人),后来换成序列标注模型(比如条件随机场、双向 LSTM),现在是预训练大模型一上手,连标都不用标那么细。但根儿上还是那句话:先有人教,机器才会捞,没人喂它啥也认不出。

难在哪儿:同名不同人、新名字天天冒

这活儿看着简单,坑可不少。头一个坑叫「同名不同人」——满世界叫「李娜」的多了去了,模型得结合上下文判断这是网球李娜还是你邻居家李娜,光看名字它懵。第二个坑叫「新名字天天冒」——今天冒出个新公司、新地名,模型没见过就认不出,总得补数据。第三个坑是缩写和别称:「字节」是家公司、「BYD」是比亚迪,机器得把这套黑话也记脑子里。所以 NER 不是一劳永逸的活儿,得常更常新,老炮管这叫「模型会老,语料得喂」。

还有更坑的:边界划不清、嵌套套娃

再往深了说,还有俩磨人的主儿。一个是「边界」——「北京大学」是整体一个机构名,还是「北京」加「大学」?少切一刀多切一刀,意思就歪了。另一个是「嵌套」——「北京大学肿瘤医院」里,套着「北京大学」又套着「肿瘤医院」,像俄罗斯套娃,模型得一层层剥。这类嵌套实体,传统模型经常一刀切错。所以真正落地时,光说「能识别」不够,得问清它能不能扛住这套娃和边界,别被演示视频忽悠了,演示里挑的都是好对付的。

如今大模型上位,它轻松了吗

你肯定想问:现在大模型这么能聊,NER 是不是随便拿捏?确实轻松了不少——你直接跟它说「把这段话里的人名地名列出来」,它基本张口就来,连标注都省了,小场面真香。但真上业务,麻烦还在:它偶尔会编、会漏、不稳定,今天认明天不认;而且你没法精准控制它吐啥格式,要接进系统还得规整。所以眼下主流是「大模型打底、规则兜底」——能聊的活儿交给它,要准要稳的环节还得有老办法把着,别指望一个模型包打天下,那是偷懒不是本事。

一句话收尾

命名实体识别,说白了就是让机器从文字里把人名、地名、机构名这类「有名有姓」的玩意儿捞出来贴标签,是信息提取的头道工序。它靠标注喂大、被同名新名折腾、被嵌套边界磨,如今大模型能帮大忙却还不能完全撒手。咱记住它的用处就够了:搜索、推荐、知识图谱、舆情监控,背后都站着这位不爱出风头、专捞名字的老编辑。它不写诗,但没它,机器读不懂你写的「谁在哪儿干了啥」,再能聊也是睁眼瞎。

相关文章

训练 AI 的数据从哪来?它到底在学什么

训练 AI 的数据从哪来?它到底在学什么

大模型再强,也是从海量文本里"喂"出来的。本文带你看看训练数据通常是什么、从哪里来,为什么数据的质量和数量同样重要,以及数据过时会对 AI 造成什么影响。…

知识蒸馏是什么?大模型怎么把本事传给小模型

知识蒸馏是什么?大模型怎么把本事传给小模型

大模型的本事强,但太重,跑不动在手机上;小模型轻,但没那么聪明。知识蒸馏像“师傅带徒弟”:让大模型一边答题一边把思路教给小模型,小模型不用重头学,也能学到七八成本事。这篇文章用师徒关系讲清蒸馏的原理和…

涌现能力是什么?小模型不会、大模型突然会

涌现能力是什么?小模型不会、大模型突然会

有些能力很奇怪:模型小的时候完全没有,参数涨到一定规模,突然就会了——像攒够了人数才会涌现的“人浪”。这种“量变到质变”叫涌现能力(Emergence)。这篇文章用“凑人数”和“水温烧开”两个比喻,讲…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

同样是 AI,有的能写出一篇文章、画出一幅画,有的只能回答“这是猫还是狗”。前者叫生成式 AI,后者叫判别式 AI,它们干的活天差地别。理解这对区别,你就能看懂为什么聊天机器人能创作、而传统模型只能分…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

不是所有 AI 都靠神经网络。决策树用一连串「是或否」的问题就把复杂判断拆解清楚,随机森林再把很多棵树凑一起投票。本文用银行放贷和聚会分桌的比喻,讲清这套直观又稳健的经典算法,以及它为什么至今仍被广泛…