📄 论文总结
Ling 2.0：面向推理的大规模语言基础模型系列 / Ling 2.0: A Reasoning-Oriented Large-Scale Language Foundation Model Series
1️⃣ 一句话总结
Ling 2.0是一个基于'每个激活都提升推理能力'原则设计的大规模混合专家模型系列，通过统一MoE架构、Ling缩放定律和算法-基础设施协同设计，在保持高稀疏性的同时实现了从百亿到万亿参数的可扩展扩展，相比密集模型达到7倍效率提升。
2️⃣ 论文创新点
1. 统一MoE架构与高稀疏设计
- 创新点：采用混合专家范式实现从百亿到万亿参数的统一扩展，强调高稀疏性以在保持表达能力的同时减少计算成本
- 区别/改进：相比密集模型实现了高达7倍的激活计算效率，为万亿级模型提供了可扩展的蓝图
- 意义：建立了推理精度与计算效率之间的新帕累托前沿，证明稀疏激活与推理目标正确对齐时可实现可扩展且高效智能
2. Ling缩放定律
- 创新点：基于超过一千次实验推导的统一缩放定律，指导万亿参数模型的超参数和架构设计
- 区别/改进：确保训练稳定且接近最优，为从小规模实验低成本、高保真地外推至万亿级性能提供了'风洞'测试环境
- 意义：解决了极端规模下可靠缩放预测的挑战，能够预测超越1e25 FLOPs的万亿级性能
3. 风洞外推框架
- 创新点：通过五个参数规模从500M到8B的标准实验，基于缩放定律确定架构、训练资源和超参数
- 区别/改进：替代传统消融实验，成本仅为35%，通过多尺度观察提供更稳定可靠的结论
- 意义：实现高效创新，精确预测万亿规模模型性能，降低训练不确定性
4. 推理导向数据组合
- 创新点：预训练语料库优先使用数学和代码数据集，推理数据比例从32%逐步增加至46%，并引入思维链数据进行推理预激活
- 区别/改进：在推理基准测试中获得5-8%平均提升，建立固有推理优势
- 意义：在复杂推理基准上超越最先进模型，为模型提供坚实的推理基础
5. 进化思维链
- 创新点：基于解耦微调初始化的渐进式推理能力深化范式
- 区别/改进：训练token减少25%达到相当或更好性能
- 意义：在竞赛级数学推理基准上超越最先进模型
3️⃣ 主要结果与价值
结果亮点
- 模型系列包括Ling-mini-2.0(16B)、Ling-flash-2.0(103B)和Ling-1T(1T)，总参数从16B到1T
- 相比密集模型实现7倍效率优势，在较小规模下达到或超越对应密集模型性能
- 在推理基准测试中获得5-8%平均提升，在竞赛级数学推理基准上超越最先进模型
- 验证成本降至全训练运行的1%以下，极大加速创新周期
实际价值
- 为超大规模模型训练提供高效验证手段，显著降低研发成本和不确定性
- 在资源受限条件下最大化性能，推进开源语言基础模型的前沿
- 支持从16B到1T参数的规模扩展，提升数学和代码性能
- 建立推理准确性与效率的新平衡点，为大模型部署提供实用方案
4️⃣ 术语表
- Mixture-of-Experts (MoE)：混合专家模型，一种稀疏激活的神经网络架构，允许模型拥有大量参数但每次推理只激活部分专家，提高计算效率
- Ling Scaling Laws：Ling缩放定律，基于大量实验推导的指导框架，用于预测和优化万亿参数模型的超参数和架构设计，实现稳定且接近最优的训练
- Efficiency Lever (EL)：效率杠杆，密集模型与MoE模型达到相同性能水平所需计算成本之比，量化MoE架构效率的统一度量标准
- Ling Wind Tunnel Experiments：基于缩放定律的实验系统，通过标准化多尺度实验评估模型特征扩展能力
- Ling Code Corpus：一个多样化、大规模、质量分层的代码语料库，集成源代码、代码相关自然语言数据和合成教学数据，用于训练编码导向的LLMs
- Evolutionary Chain-of-Thought (Evo-CoT)：进化思维链，基于解耦微调初始化的渐进式推理能力深化范式
- Data-as-Code：将整个数据管道代码化并通过版本控制管理的理念和方法