arXiv ID:
2605.06014
arXiv 提交日期: 2026-05-07
使用随机化哈达玛变换进行量化:高效启发式方法现已得到证明 / Quantizing With Randomized Hadamard Transforms: Efficient Heuristic Now Proven
1️⃣ 一句话总结
本文证明了在量化压缩(如梯度压缩、向量量化)中,使用两次随机哈达玛变换(RHT)就能让每个坐标的分布接近标准高斯分布,从而在性能上达到与理想均匀随机旋转(URR)相当的效果;但为了确保向量量化(VQ)中不同坐标块之间无关,需要三次RHT,并且论文还提出了一种线性时间的自适应检测方法,根据输入特征动态调整RHT的使用次数。