Scaling Law 撑得住吗?大模型的'后协和时代'
" bigger is better"——更多数据、更多参数、更多算力,能力就更强。这条被奉为大模型行业铁律的 Scaling Law(规模定律),在过去几年驱动了万亿级投资。但最近两年,行业里出现了一个值得认真对待的追问:这条定律还撑得住吗?
Scaling Law 为什么曾是"铁律"?
2020 年前后,研究者通过系统实验发现一个惊人规律:模型性能与参数量、数据量、算力之间存在平滑的幂律关系——投入越多,损失函数越低,能力越强,几乎"可预测地变强"。
这个发现的产业意义是核弹级的:AI 能力的提升从"碰运气的研究"变成了"可以资本化的工程"。只要钱到位,下一代模型必然比这一代强。过去几年各家激进扩产,底层信心都来自这条曲线。
现在的问题出在哪?
1. 数据墙。训练高质量大模型需要海量高质量文本,而互联网上可用的人类文本总量是有限的。合成数据部分缓解了问题,但"用模型生成的数据训练模型"可能带来质量退化与同质化风险。数据稀缺正在成为最现实的约束。
2. 算力墙。前沿模型的训练成本已达数亿美元量级并继续指数级攀升,电力供应、芯片产能、资金密度都开始触及现实边界。投资回报的压力逐年加重。
3. 收益曲线变缓。通用基准的提升幅度在变小,"下一代比上一代强很多"的感知差在缩小——用户开始分不清 5.0 和 6.0 的区别,这对溢价模式是釜底抽薪。
行业的应对:从"横向变大"到"纵向变深"
Scaling Law 的放缓不是终结,而是换轨。目前三条新赛道已经成型:
测试时计算(Test-time Compute):不再只靠训练时堆资源,而是让模型在回答时"思考更久"——推理型模型正是这个思路的产物,用推理侧算力换能力。
数据质量工程:从"海量"转向"精选",高质量推理数据、专业领域数据的价值急剧上升,催生了数据产业的新一轮繁荣。
架构与效率创新:MoE、蒸馏、新架构探索,目标是同样算力下榨出更多智能。
对我们意味着什么
Scaling Law 变缓,短期对用户几乎无感,甚至有利:行业从"军备竞赛"转向"效率竞争",降价和落地会成为主旋律。长期看,AI 能力的提升曲线不会归零——只是从"粗放增长"进入"精耕时代"。
一个历史类比收尾:航空业百年间速度再也没突破协和客机,但没人说航空业停滞了——它把精力转向了效率、安全与经济性。大模型行业,正在走进自己的"后协和时代"。
