arXiv ID:
2606.10406
arXiv 提交日期: 2026-06-09
FOGO:具有遗忘感知的正交化优化器 / FOGO: Forgetting-aware Orthogonalization Optimizer
1️⃣ 一句话总结
本文提出了一种名为FOGO的新型优化器,它能够自动检测并解决训练过程中的梯度冲突,防止某些“强势”梯度方向长期压制其他有用但罕见的更新方向,从而在标准训练、类别不平衡、持续学习以及大模型微调等场景下显著提升模型的收敛速度和记忆保留能力,效果优于Adam和Muon。