arXiv ID:
2606.12883
arXiv 提交日期: 2026-06-11
LoRA优化中缩放因子的隐藏力量 / The Hidden Power of Scaling Factor in LoRA Optimization
1️⃣ 一句话总结
本文揭示了在低秩适配(LoRA)微调中,缩放因子α比学习率更能有效控制优化过程,通过理论分析和实验发现α能放大任务信号而不增加噪声,且最优α与秩存在平方根关系,据此提出LoRA-α框架,使模型在标准小学习率下也能稳定提升性能,大幅简化超参数调优。