arXiv ID:
2604.27295
学习率工程:从粗粒度单参数到分层演化 / Learning Rate Engineering: From Coarse Single Parameter to Layered Evolution
1️⃣ 一句话总结
本文系统梳理了学习率调度从固定全局值到分层自适应策略的五代演化历程,并提出了一个统一框架DALS,通过结合阶段自适应余弦调度、深度感知梯度滤波和信任比机制,在合成数据和真实微调任务上均取得优异表现,同时揭示了不同训练场景下策略选择的依赖性。