arXiv ID:
2606.26902
arXiv 提交日期: 2026-06-25
从多任务合并模型中恢复任务专家模型 / Learning to Recover Task Experts from a Multi-Task Merged Model
1️⃣ 一句话总结
本文提出了一种称为ReTeX的框架,通过预测并消除多任务模型合并过程中引入的参数干扰(类似添加噪声的偏移量),从而从单个合并检查点中高效恢复出各个任务的原始专家性能,并利用SVD子空间签名实现无路由器的任务识别,大幅提升了对未见任务的泛化能力。