模型量化是什么？一文看懂手机为什么能跑大模型
模型为什么“重”：一堆高精度的小数
一个训练好的模型，内部是海量数字—— billions 级的参数，每个都是带很多小数位的浮点数。用高精度存，是为了训练时算得准；可一旦训完要落地，这些“精确到小数点后好多位”的数字就成了负担。它们占内存、吃算力，手机芯片根本扛不住。模型跑不动，往往不是算法复杂，而是这些数字太“重”。
量化：把小数“四舍五入”成更小的数
量化的思路很直白：既然那些极长的小数位大多数时候影响不大，就把它们“收编”成更小的表示。比如原本用 32 位浮点存一个数，量化后改用 8 位整数来近似表达。单个数字精度确实降了，但模型里有上亿个数字，彼此的“相对关系”大体还在，整体表现掉得很少。相当于把账本从“精确到分”改成“精确到元”，总量算下来几乎没差。
一个生活比喻：高清图压成能发的图
最好懂的比喻是发朋友圈。原图几十兆、细节纤毫毕现，但发不出去也加载慢；压成几兆的图，肉眼几乎看不出差别，却秒发秒开。量化对模型就是干这个：原模型是“原图”，量化后是“压过的图”——体积变小、跑得变快，观感（效果）基本还在。代价是极细微处略有损失，但多数应用场景根本察觉不到。
量化换来了什么，又牺牲了什么
换来的是实打实的好处：模型体积能缩到原来的几分之一，内存占用骤降，推理速度变快，电费也省。牺牲的是一点点精度上限——极端刁钻的任务、对数值极敏感的计算，可能露出马脚。工程上要做的，就是找到那个“几乎无损、却轻了一大截”的甜点。多数日常场景，这个甜点很好找。
为什么手机能跑大模型离不开量化
今天你在手机上体验的很多 AI 功能——本地相册搜索、离线翻译、端侧语音助手——背后几乎都有量化身影。没有它，这些模型只能老老实实待在云端，每次都要联网、传数据、等响应。有了量化，模型才能“住”进你的设备，又快又私密。可以说，量化是把 AI 从机房带进口袋的关键一环。
量化的几个常见档位
量化不是“压一次”就完事，而是有不同强度。轻度量化像把 32 位压到 16 位，几乎无损；再狠一点压到 8 位，体积和速度收益明显，质量仍稳；更激进的会压到 4 位甚至更低，省到极致但风险也高，需要配合其他手段兜底。选哪个档位，取决于设备有多穷、任务有多娇贵——这也是端侧 AI 工程里最日常的权衡。
