arXiv ID:
2606.22436
arXiv 提交日期: 2026-06-21
分布感知的稳健双层优化:双时间尺度随机逼近中的分位数引导Huber更新 / Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation
1️⃣ 一句话总结
本文提出了一种新颖的优化算法RQ-TTSA,通过在训练过程中动态监测历史梯度的分布特征(如分位数),自适应地裁剪异常梯度值,从而有效解决了双层优化在存在重尾分布噪声时的不稳定问题,在多个任务上实现了更稳定、更可靠的收敛。