量化(Quantization)

Model Quantization

用更低位数表示权重或激活,以减小模型体积、加快推理并节省显存。

01

先用人话理解

训练常用 16/32 位浮点存参数;量化把许多数值映射到 8 位、4 位甚至更低的离散档位。配合校准或量化感知训练,可以在可接受的精度损失下让大模型跑进消费级 GPU 或边缘设备。

02

为什么重要

开放权重生态与本地部署高度依赖量化;没有它,许多“能下载的模型”无法在真实硬件上交互式运行。

常见误解

量化不是压缩训练数据,主要改的是数值表示精度。

位数越低不一定越好,任务与校准方法决定质量悬崖在哪里。

试试搜索