arXiv ID:
2602.08387
arXiv 提交日期: 2026-02-09
Modalities:一个用于大规模大语言模型训练与研究的PyTorch原生框架 / Modalities, a PyTorch-native Framework For Large-scale LLM Training and Research
1️⃣ 一句话总结
这篇论文提出了一个名为Modalities的PyTorch原生框架,它通过集成先进的并行化策略和模块化设计,旨在高效支持万亿级数据、十亿级参数的大语言模型预训练与系统性消融实验,从而解决现有框架在实验管理和可复现性方面的不足。