Transformer 是什么？现代大模型的共同骨架

老办法的瓶颈：一次只能盯一个字

在 Transformer 之前，处理句子常用“循环”结构：像读书一样从左读到右，读当前字时带着前面字的记忆。问题是一句话长了、或者后面字要回头改前面的理解，这种“串行”读法又慢又容易忘。更致命的是它没法并行——几十亿参数的显卡算力被“一次一个字”的节奏白白浪费。Transformer 要解决的，就是又慢又健忘这两件事。

核心发明：让所有词同时“互相看一眼”

Transformer 的关键叫自注意力机制（我们之前单独讲过注意力，这里是它的舞台）。一句话喂进来，每个词不是顺着读，而是和句内所有词同时算一遍“我和你有多相关”。比如“它”这个词，会立刻去和“猫”对齐，知道指代的是猫。整句话一次性并行处理，谁关联谁当场锁定，既快又不容易丢远距离的关系。这也是它能堆超大模型、又跑得动并行训练的根本原因。

位置编码：没有顺序，怎么知道谁先谁后

既然所有词同时看，那“猫追狗”和“狗追猫”在模型眼里不就乱了？Transformer 用了个补丁叫位置编码：在把词送进去前，先给每个词悄悄加一段“我是第几个”的信号。这样模型既享受了“大家同时看”的并行好处，又没丢掉先后顺序这个关键信息。相当于开会时每人座位牌上写着编号，传纸条再快也不会搞混谁先发言。

编码器与解码器：理解型和生成型两套件

原始 Transformer 有两块：编码器负责“读懂输入”（适合翻译时的原文理解），解码器负责“逐步产出”（适合生成目标语言或下个词）。后来的大模型各取所需：做理解的常强化编码器，做聊天的多用解码器。你今天用的聊天机器人，基本是解码器一路堆出来的。同一套骨架，换个侧重点，就长成了不同的产品形态。

为什么是它撑起了这一轮浪潮

三个原因叠在一起：一是并行，能塞进海量数据和算力；二是长程关联抓得准，语言、代码、甚至蛋白质序列里的远距离依赖都吃得下；三是可扩展，模型越大表现越好（还记得我们讲过的涌现）。这几点凑齐，才有了后来 GPT、翻译、代码助手等一系列“看起来像懂了”的应用。它不像某个具体功能，更像地基——楼上怎么装修都能搭。

普通人需要知道什么

你不必背架构细节，记住一件事就够了：今天能“对话、写、译”的 AI，大多是同一个骨架长出来的近亲，所以它们的强项和短板高度相似——擅长语言流畅、弱于事实准确。下次觉得某个新 AI“和之前用的那个好像”，多半就是因为它们本就共享这套骨架。理解 Transformer，等于拿到了看懂这一整代 AI 的钥匙。