arXiv ID:
2604.18264
arXiv 提交日期: 2026-04-20
通过自适应逐层采样通用提升零阶优化 / Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling
1️⃣ 一句话总结
本文提出了一种名为AdaLeZO的自适应逐层采样方法,通过将零阶优化中的扰动预算动态分配给神经网络中最敏感的参数层(类似智能分配资源),从而显著加速大模型微调过程,在保持低内存占用的同时提升了1.7到3倍的实际运行速度。