arXiv ID:
2602.15563
arXiv 提交日期: 2026-02-17
1比特奇迹:通过K-Means量化提升低比特量化感知训练的性能 / 1-Bit Wonder: Improving QAT Performance in the Low-Bit Regime through K-Means Quantization
1️⃣ 一句话总结
这项研究发现,在极低的比特数下,使用K-Means方法对大型语言模型的权重进行量化,比传统的整数格式效果更好,并且能在固定内存预算下,用1比特权重在下游生成任务上取得最佳性能。