arXiv ID:
2603.17917
arXiv 提交日期: 2026-03-18
权重聚类的大语言模型中,只有相对排序才重要 / Only relative ranks matter in weight-clustered large language models
1️⃣ 一句话总结
这篇论文发现,大语言模型性能的关键在于权重之间的相对强弱排序,而非精确数值,因此通过简单的权重聚类将每个矩阵压缩到仅16-64个不同值,就能在不重新训练的情况下有效压缩模型,并揭示了保持权重排序对维持模型能力至关重要。