arXiv ID:
2606.09762
arXiv 提交日期: 2026-06-08
通过动态等距保持持续学习中的可塑性 / Preserving Plasticity in Continual Learning via Dynamical Isometry
1️⃣ 一句话总结
这篇论文发现,在持续学习中维持神经网络的动态等距(即各层权重变换保持信号幅度稳定)能有效防止模型逐渐失去学习新任务的能力,并据此提出了一种高效的正则化方法和自适应优化器,在多个基准测试中达到了领先性能。