arXiv ID:
2606.18663
arXiv 提交日期: 2026-06-17
RegMix-D:通过代理训练轨迹实现动态数据混合 / RegMix-D: Dynamic Data Mixing via Proxy Training Trajectories
1️⃣ 一句话总结
本文提出了一种名为RegMix-D的动态数据混合方法,它利用小型代理模型在训练过程中的完整损失变化曲线来预测不同阶段的最优数据配比,相比传统静态混合方法(如RegMix)在更少计算资源下显著提升了大型语言模型的预训练效果。