arXiv ID:
2601.04823
DR-LoRA:面向专家混合模型调优的动态秩LoRA方法 / DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation
1️⃣ 一句话总结
这篇论文提出了一种名为DR-LoRA的新方法,它能够根据任务需求,动态地为大语言模型中的不同专家模块分配不同的学习能力,从而在相同参数预算下实现更高效、性能更好的模型调优。