arXiv ID:
2604.19254
arXiv 提交日期: 2026-04-21
ShadowPEFT:基于影子网络的参数高效微调方法 / ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning
1️⃣ 一句话总结
ShadowPEFT提出了一种新的参数高效微调框架,通过一个可跨层共享的“影子”模块来逐步优化每层的隐藏状态,从而取代传统方法中对每个权重单独添加低秩扰动的方式,在保持模型大部分参数冻结的同时,以更灵活、更集中的方式实现高效微调,并在多项任务上取得了与LoRA相当或更优的性能。