当前位置:首页 > AI科普

Token 到底是什么?大模型怎么把你打的汉字切成一块块来算

xinhack2周前 (10-25)AI科普35

Token 到底是什么?大模型怎么把你打的汉字切成一块块来算 AI科普

token 不是字,也不是词,是「模型眼里的最小积木」

咱先破除一个误会:大模型读你这句话,不是像人一样一个字一个字看,也不是按词典分词,而是把它切成一堆叫 token 的小块。英文里一个 token 可能是一个词、半个词、甚至一个标点;中文更碎,常常一个汉字就被切成一两个 token。你可以把它理解成乐高——模型用一堆小积木拼出意思,积木越细,拼法越灵活,但零件数也越多。所以同样一句话,在模型眼里「零件量」可能远多于你肉眼看到的字数,别被表面字数骗了,那只是给你看的,不是它算账的单位,这也是为啥账单跟你直觉对不上。

中英文为啥「贵」得不一样

英文 hello 可能就一个 token,但中文「你好」常常拆成「你」「好」两个甚至更多 token。同样一段话,中文的 token 数往往比英文多,这在按 token 计费的场景里,就等价于「中文更费钱」。所以你跟模型聊得越多、写得越啰嗦,token 跑得越快,账单也跟着跳。咱做内容、做客服的,这块成本真不能无视,积少成多挺吓人,月底对账时容易傻眼。同样的预算,会省的人能多干一倍活,这差距是实打实的。

说个算账的真事儿

之前帮一个客户搭自动回复,初版他把整本产品手册每次都整篇塞给模型,跑一个月发现费用高得离谱,老板差点把项目砍了。后来改成「先摘要、按需取段落」,token 直接砍掉一大半,效果反而更准,因为模型不用在噪音里找重点。你看,同样的活儿,会不会用 token 思维,成本能差出好几倍。这事儿告诉我们:喂得聪明,比喂得猛重要,力气要使对地方,不然白忙活一场还烧钱。

token 跟「上下文窗口」是绑定的

模型一次能「记住」的量是按 token 算的,不是按字数。你前面聊了五千字,模型不是记五千个汉字,是记对应的那一大堆 token。一旦总 token 超过了它的上限,最早的内容就得被「挤出去」。这就是为什么长对话聊久了,它会忘了你开头说了啥。你以为它记性不好,其实是它的「办公桌」被塞满了,只能先扔旧的,属于物理限制,急也没用。想让它记住,就得会腾地方,别啥都往里堆。

咱们怎么省着用

省 token 不是抠门,是让每一次调用都更值。几招拿去用:

  • 少灌水:把背景一次说清,比翻来覆去啰嗦省 token,模型也少误解。
  • 长文档先摘要再问,别整篇往里怼,先喂精华它才消化得了。
  • 不需要的历史,开新会话,别让旧 token 占着位、还拖慢速度。
  • 重复用的系统设定尽量精简,别每轮都原样重发一遍。

这几条养成习惯,长期下来省下的可不是小数目,尤其量大了以后。

一句大实话

懂了 token,你就明白 AI 不是「按句算账」,而是「按积木算账」。把它当精打细算的伙计,喂得准、废话少,它既快又省;你一通乱塞,它累你也贵。这玩意儿,懂点门道真能省真金白银,做业务的尤其该中意这条,毕竟省下来的都是利润,老板看了都高兴。

相关文章

参数是什么?藏在 AI 大脑里的几千亿个数字

参数是什么?藏在 AI 大脑里的几千亿个数字

常听人说某个大模型有几千亿参数,参数到底是什么?这篇文章用最直白的方式解释大模型里的参数,它们是怎么来的、是不是越多越聪明,以及普通用户到底需不需要关心这个数字。…

嵌入到底是什么?一文看懂文字变成坐标的原理

嵌入到底是什么?一文看懂文字变成坐标的原理

你会说“苹果”和“香蕉”很接近、“苹果”和“坦克”很远,但计算机只认 0 和 1。嵌入(Embedding)就是把每个词变成一长串数字坐标,让意思相近的词在坐标系里也挨得近。这篇文章用“地图”和“图书…

模型量化是什么?一文看懂手机为什么能跑大模型

模型量化是什么?一文看懂手机为什么能跑大模型

同样一个模型,在云端跑得动,塞进手机却卡死,问题常常出在“精度”。量化(Quantization)就是把模型里成千上万的小数“四舍五入”成更小的数,体积和算力需求大幅降下来,效果却几乎不掉。这篇文章用…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

少样本学习是什么?大模型为什么看几个例子就会

少样本学习是什么?大模型为什么看几个例子就会

老式 AI 要学一样东西得喂成千上万条样本,今天的大模型却看两三个例子就能上手。这种「少样本学习」靠的是预训练积累的通识,而不是从零学起。本文用看样例学做事的比喻,讲清它为什么管用、又在哪里会翻车,以…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…