arXiv ID:
2603.08022
容量感知混合定律实现高效大语言模型数据优化 / Capacity-Aware Mixture Law Enables Efficient LLM Data Optimization
1️⃣ 一句话总结
这篇论文提出了一种名为CAMEL的新方法,它通过一个考虑模型容量和数据混合之间非线性关系的定律,能够用更少的计算成本预测出训练大语言模型的最佳数据组合方案,从而在节省一半优化开销的同时,将模型性能提升高达3%。