arXiv ID:
2606.30067
arXiv 提交日期: 2026-06-29
神经子空间重分配:基于检索的子空间存储管理的持续学习 / Neural Subspace Reallocation: Continual Learning as Retrieval-Based Subspace Memory Management
1️⃣ 一句话总结
本文提出一种名为神经子空间重分配(NSR)的方法,通过将低秩适配器(LoRA)视为可压缩和检索的记忆单元,利用奇异值分解压缩、相似性检索和知识蒸馏等技术,实现了对旧知识的有效保留和新任务的快速适应,在循环任务中比无记忆策略恢复速度快10倍,并证明核心提升来自记忆管理机制而非学习到的分配策略。