📄 论文总结
TiKMiX：基于组影响指标的语言模型预训练动态数据混合优化框架
TiKMiX: Dynamic Data Mixing Optimization Framework for Language Model Pre-training Based on Group Influence Metric
1️⃣ 一句话总结
TiKMiX是一种创新的动态数据混合优化框架，通过引入Group Influence指标高效评估不同数据域对模型性能的影响，并基于模型训练过程中的动态偏好调整数据混合比例，在计算资源减少80%的情况下显著提升模型在下游任务上的性能。
2️⃣ 论文创新点
1. Group Influence指标
- 创新点是什么：一种高效评估数据域对模型验证性能集体影响的指标，通过梯度累积以低计算成本量化模型的数据偏好
- 与已有方法的区别/改进：解决了动态观察模型数据偏好的计算效率挑战，比传统方法更高效地衡量数据影响力
- 为什么有意义：为动态数据混合提供了理论基础和量化工具，实现了对LLM数据动态偏好的高效量化和观察
2. TiKMiX动态数据混合框架
- 创新点是什么：将数据混合问题构建为寻找最优影响力最大化分布的优化问题，基于模型训练过程中的动态偏好调整数据比例
- 与已有方法的区别/改进：替代静态混合策略，根据模型训练过程中的动态偏好调整数据比例
- 为什么有意义：显著提升模型性能，缓解静态比例下的'数据消化不足'问题
3. TiKMiX-D直接优化方法
- 创新点是什么：直接优化影响力加权和的实现方式，计算效率高
- 与已有方法的区别/改进：计算效率高，仅需20%资源就超越现有方法
- 为什么有意义：提供了高效的动态数据混合解决方案
4. TiKMiX-M回归预测方法
- 创新点是什么：使用回归模型预测更优数据混合比例的方法，能够预测出性能更优的数据分布
- 与已有方法的区别/改进：能够预测出性能更优的数据分布
- 为什么有意义：在多个下游任务上实现平均2%的性能提升
3️⃣ 主要结果与价值
实验结果亮点
- TiKMiX-D仅使用20%计算资源就超越了REGMIX等最先进方法
- TiKMiX-M在9个下游基准测试中平均性能提升2%
- 在ARC Easy和ARC Challenge等挑战性任务上优势超过4.8%
- Group Influence指标与下游任务性能存在强正相关关系（ρ=0.789）
实际应用价值
- 大幅减少大语言模型训练的计算资源消耗
- 提升模型在下游多种任务上的泛化能力
- 为数据混合优化提供了可量化的理论依据
- 适用于大规模LLM训练的实用且强大的工具
4️⃣ 术语表
- TiKMiX：一种动态调整语言模型预训练数据混合比例的方法，基于Group Influence指标优化数据分布
- Group Influence：用于高效评估数据域对模型验证性能集体影响的指标，通过梯度累积实现低计算成本
- TiKMiX-D：基于Group Influence的多目标数据混合优化方法，动态调整数据权重
- TiKMiX-M：通过建模域内混合交互来优化混合比例的方法，使用回归代理模型预测聚合影响力
- RefinedWeb：包含26个不同数据域的大规模数据集
- LightGBM：一种高效的梯度提升决策树模型，用于预测给定数据混合的聚合影响力
- Latin Hypercube Sampling：拉丁超立方采样方法，用于在多维参数空间中高效生成均匀分布的候选向量