🤖 系统
11-30 17:41
📄 论文总结
关于项目级代码补全的预训练研究 / On Pretraining for Project-Level Code Completion
1️⃣ 一句话总结
这项研究表明,通过调整位置编码参数扩展模型上下文窗口,能在较小数据集上实现与大型模型相媲美的项目级代码补全性能,同时发现更简单的文件级训练方法同样高效,降低了研究门槛。
请先 登录 后再提交论文
关于项目级代码补全的预训练研究 / On Pretraining for Project-Level Code Completion
这项研究表明,通过调整位置编码参数扩展模型上下文窗口,能在较小数据集上实现与大型模型相媲美的项目级代码补全性能,同时发现更简单的文件级训练方法同样高效,降低了研究门槛。
RePro:训练语言模型忠实回收网络数据用于预训练 / RePro: Training Language Models to Faithfully Recycle the Web for Pretraining
这篇论文提出了一种名为RePro的新方法,通过训练一个小型语言模型来智能改写网络数据,既提升预训练数据质量又保持原意,使模型在多项任务上的表现显著优于传统方法,并实现了2-3倍的数据利用效率提升。