arXiv ID:
2605.25469
arXiv 提交日期: 2026-05-25
JacQuant:通过学习雅可比代理实现无STE的量化感知训练 / JacQuant: STE-Free Quantization-Aware Training via Learned Jacobian Surrogates
1️⃣ 一句话总结
本文提出了一种名为JacQuant的新型量化感知训练方法,通过学习模型参数变化的局部灵敏度代理(轻量级对角或块对角矩阵),替代传统方法中不稳定的直通估计器(STE),从而在超低位宽(≤2比特)的大语言模型量化训练中显著提升精度,且计算开销几乎可以忽略。