arXiv ID:
2512.05409
arXiv 提交日期: 2025-12-05
SQ-format:一种用于大语言模型高效推理的稀疏量化数据格式 / SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs
1️⃣ 一句话总结
本文提出了一种名为SQ-format的新型硬件友好数据格式,通过将激活值或权重量化为稀疏的高精度组件和密集的低精度组件,在保持模型精度的同时显著提升推理吞吐量,实现了精度与效率的帕累托改进。