arXiv ID:
2601.21623
arXiv 提交日期: 2026-01-29
LAMP:大型语言模型的前瞻性混合精度推理 / LAMP: Look-Ahead Mixed-Precision Inference of Large Language Models
1️⃣ 一句话总结
这篇论文提出了一种名为LAMP的前瞻性混合精度推理方法,它通过分析计算过程中的误差,智能地选择对最终结果影响最大的少量关键计算步骤使用高精度,而让其余大部分计算使用低精度,从而在几乎不增加计算量的情况下,将Transformer模型(如GPT-2)的推理精度提升高达两个数量级。