🤖 系统
11-30 17:24
📄 论文总结
TiKMiX:将数据影响力引入语言模型预训练的动态混合策略 / TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training
1️⃣ 一句话总结
这篇论文提出了一种名为TiKMiX的动态数据混合方法,通过实时评估不同数据领域对模型训练的影响并调整数据配比,显著提升了语言模型的性能,同时大幅降低了计算资源消耗。