arXiv ID:
2512.12880
arXiv 提交日期: 2025-12-14
利用混合LoRA改进递归Transformer模型 / Improving Recursive Transformers with Mixture of LoRAs
1️⃣ 一句话总结
这篇论文提出了一种名为MoL的轻量级方法,通过在共享网络中插入可动态选择的低秩适配器,成功解决了递归Transformer因参数共享而导致的表达能力下降问题,使得小模型也能达到甚至超越大模型的性能,并且推理时还能压缩成一个高效模块。