🤖 系统
11-30 17:52
📄 论文总结
通过改造递归机制让预训练语言模型进行更深层思考 / Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence
1️⃣ 一句话总结
这项研究提出了一种将现有非递归预训练语言模型转化为深度递归模型的方法,通过渐进式增加模型有效深度的训练策略,在降低计算成本的同时提升了数学任务上的性能表现。
请先 登录 后再提交论文
通过改造递归机制让预训练语言模型进行更深层思考 / Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence
这项研究提出了一种将现有非递归预训练语言模型转化为深度递归模型的方法,通过渐进式增加模型有效深度的训练策略,在降低计算成本的同时提升了数学任务上的性能表现。