arXiv ID:
2601.21626
arXiv 提交日期: 2026-01-29
HeRo-Q:一种通过海森矩阵条件化实现稳定低比特量化的通用框架 / HeRo-Q: A General Framework for Stable Low Bit Quantization via Hessian Conditioning
1️⃣ 一句话总结
这篇论文提出了一种名为HeRo-Q的新方法,它通过巧妙地调整模型参数的‘方向’来平滑模型的‘学习地形’,从而让大模型在极低精度(如3比特)下也能稳定工作,避免性能崩溃,且无需改变模型结构或增加太多计算负担。