当前位置:首页 > AI科普

语音合成 TTS 到底是什么?AI 是怎么「开口说话」的

xinhack1周前 (11-01)AI科普18

语音合成 TTS 到底是什么?AI 是怎么「开口说话」的 AI科普

先说人话:TTS 干的是「反方向」的活儿

咱们前面聊过语音识别,那是把你说的话变成文字。语音合成,英文叫 Text-To-Speech,简称 TTS,干的刚好是反过来的事——把一段文字,变成一段能听的声音。说白了,就是你给它稿子,它还你一段念稿子的声音。你手机里的导航播报、听书 App 的机器朗读、短视频那些不带真人的配音,背后基本都是它在撑着。它跟语音识别是一对兄弟,一个管「听」,一个管「说」,合起来才让机器跟人有了嘴和耳朵,少了谁都不算会交流。

它怎么把字变成声音:先「读」懂,再「拟」声

这活儿分两步走。第一步叫前端处理,模型先把句子拆开,标好哪个字该重读、哪里该停顿、问句末尾要不要扬起来,就像咱们念稿子前先在心里打标点、找节奏。这一步行话叫韵律建模,决定声音「有没有腔调」。第二步叫声学建模加声码器,负责把上面那堆「计划」真变成波形——也就是你耳朵听到的声音。早年这俩步骤都挺笨,现在是神经网络一肩挑,所以听着才顺耳。打个比方:前端像导演说戏,后端像演员开口,俩配合好了,戏才不像念稿。

早些年为啥听着像机器念经:老路子有老路子的难

以前的 TTS 主要两条路。一条是拼接法:事先录好一大堆音节,合成时像拼拼图一样把音节粘起来。好处是声音真,坏处是拼接缝明显,一快就露馅,听着像卡碟。另一条是参数法:让模型直接算声音的曲线,省空间但听着发闷,像含了口水、隔着棉被讲话。所以那会儿你听语音助手,总觉着哪儿不对劲、冷冰冰的,就是这俩老路子闹的。直到数据量和算力上来,这条路才被彻底换掉,机器念经的时代才算翻篇。

神经网络进来后,声音才真像了人

后来端到端的神经网络把前端后端一把梭,模型直接从文字学到波形,中间少了许多手工拼接的破绽。再加上「让机器自己判断哪段声音更像人」这类判别训练,出来的声音就有了语气、有了呼吸感,甚至能压低嗓子讲悄悄话。现在你闭着眼听一些朗读,真不一定分得清是真人还是合成。这进步,说实话挺吓人,也挺有用——无障碍阅读、深夜电台、多语种配音,一下全活了,一个小团队能顶过去一个录音棚的活。

你天天都在用,只是没察觉

别觉得这玩意儿离你远。早起闹钟的新闻播报、开车时的导航、给娃读的绘本音频、视频号里那些不露脸的配音、甚至银行电话里那句「查询余额请按一」、外卖 App 念出你下单的菜名,背后都是 TTS。它最大的价值不是装真人,而是把文字变成声音这件事,做得又便宜又批量,让人不用念、不用录就能出声。过去录一小时音频要排期、要棚、要人,现在一段文字进去,几秒钟音轨就出来了。

别被「真人克隆」忽悠,它也有翻车的时候

现在满大街「一分钟克隆你声音」的噱头,听着玄乎。咱得说句实话:那是用你一小段录音去拟合音色,出来的确像,但长句子、复杂情绪照样容易飘、容易嘴瓢,遇到生僻字还会读错。而且这技术一旦被拿去冒充别人打电话、搞诈骗,风险不小。所以听个乐、做做无障碍朗读挺好,真要拿来以假乱真,咱得多个心眼。技术香归香,别被话术带沟里,也别拿去干不地道的事,害人害己。

相关文章

思维链是什么?让 AI 一步步想,答案更靠谱

思维链是什么?让 AI 一步步想,答案更靠谱

让 AI 直接给答案,有时会出错;但如果你让它"一步步思考",结果往往更准。这背后的方法叫思维链(Chain of Thought)。本文解释它是什么、为什么有效,以及日常提问时怎么用。…

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

你上传一张猫的照片,AI 立刻认出是猫;拍一张街景,软件分出车道和行人。可计算机最初只看到一堆像素点。卷积神经网络(CNN)就是让 AI 学会“看”的关键结构,它像用放大镜在图上滑动、提取边缘和纹理,…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

少样本学习是什么?大模型为什么看几个例子就会

少样本学习是什么?大模型为什么看几个例子就会

老式 AI 要学一样东西得喂成千上万条样本,今天的大模型却看两三个例子就能上手。这种「少样本学习」靠的是预训练积累的通识,而不是从零学起。本文用看样例学做事的比喻,讲清它为什么管用、又在哪里会翻车,以…

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

给 AI 准备带标签的数据很贵——得雇人一条条标。自监督学习绕开这道坎:它不给标准答案,而是把数据自己拆成「题」和「答案」,让模型在填空、比对中练出对世界的理解。本文用完形填空的比喻,讲清它怎么让大模…

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

零样本学习是什么?没教过的题,AI 也能猜个八九不离十

传统模型只会做练过的题,换个没见过的类别就傻眼。零样本学习偏要让模型答没复习过的题——靠的是把类别、文字描述这些语义信息带进来,让没见过和见过在意义层面接上头。本文用查字典和跨语种猜词的比喻,讲清它和…

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

打开购物、短视频、音乐 App,它总能精准推你爱看的那一口——这背后站着推荐系统。它不像人靠直觉,而是拿你点过、跳过、买过的痕迹当线索,给人和内容两边打分配对。本文用红娘和书架的比喻,讲清它怎么从你的…