arXiv ID:
2602.03537
arXiv 提交日期: 2026-02-03
MatGPTQ:一种精确高效的训练后嵌套量化方法 / MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization
1️⃣ 一句话总结
这篇论文提出了一种名为MatGPTQ的新方法,它只需一次操作就能将一个大型语言模型压缩成单一、可灵活切分的量化版本,使得同一个模型文件可以根据不同的设备性能需求,在运行时动态调整精度,从而在保持高精度模型性能的同时,大幅提升了低精度下的运行效率。