📄 论文总结
功能双锚点：一种基于输入表示空间的模型融合框架 / Functional Dual Anchors: A Model Merging Framework in Input Representation Space
1️⃣ 一句话总结
提出了一种名为功能双锚点(FDA)的创新模型融合方法，通过在输入表示空间而非参数空间进行任务知识编码，有效解决了模型合并中的任务知识冲突问题。
2️⃣ 论文创新点
1. 功能双锚点(FDA)框架
- 创新点：通过构造合成输入来模拟任务向量的作用，将任务特定知识投影到输入表示空间
- 区别/改进：不同于直接在参数空间操作，FDA在输入表示空间建模以缓解任务知识冲突
- 意义：为模型合并提供了新视角，连接了联合多任务训练和事后合并，具有鲁棒性和灵活性
2. 基于线性模型的理论初始化方案
- 创新点：基于线性模型的理论洞察，提出了FDA的原则性初始化方案
- 区别/改进：带来显著的性能改进
- 意义：为FDA方法提供理论支撑和优化基础
3. 梯度匹配优化
- 创新点：使用梯度下降在数据空间优化FDA构造，最小化表示差异梯度和任务向量间的余弦距离
- 区别/改进：解决了高维空间中的非凸优化问题
- 意义：为知识投影提供了可行的优化框架
4. 两阶段优化框架
- 创新点：将FDA构造分为初始化优化和参数优化两个独立阶段
- 区别/改进：通过分层策略解决二阶梯度计算难题
- 意义：使FDA方法能应用于大规模基础模型
3️⃣ 主要结果与价值
结果亮点
- 在ViT-B/16和RoBERTa-Large模型上，FDA相比基线方法分别带来18%(视觉)和15.4%(语言)的性能提升
- FDA超越了多种后处理方法，接近当前最先进方法的性能
- 权重初始化表现最佳，与最低优化损失一致；高斯初始化在σ=10⁻²时性能较好
- FDA优化过程高效，少量步数即可实现显著改进
实际价值
- 提供了一种数据自由的多任务模型融合方法，无需原始训练数据
- 可作为独立方法使用，也可与参数中心化模型合并方法互补
- 适用于不同模态的基础模型，包括视觉和语言处理任务
- 为模型知识整合提供了新的技术路径
4️⃣ 术语表
- Functional Dual Anchors (FDAs)：功能双锚点，通过梯度匹配构建的合成输入，其诱导的梯度与任务向量对齐，捕获相对于预训练模型的任务特定功能偏移
- task vectors：任务向量，下游检查点与预训练模型之间的参数偏移，编码了特定任务知识
- Task Arithmetic (TA)：任务算术，一种参数空间的模型合并方法，使用统一的缩放因子对任务向量进行线性变换
- 余弦相似度：衡量ΔWj,:和ΔW t j,:之间相似性的指标，影响优化收敛速度
- 模型融合：将多个模型知识整合的技术，包括参数中心和输入空间两种范式