arXiv ID:
2604.27089
arXiv 提交日期: 2026-04-29
AutoSP:基于编译器的序列并行技术,实现长上下文大语言模型训练 / AutoSP: Unlocking Long-Context LLM Training Via Compiler-Based Sequence Parallelism
1️⃣ 一句话总结
本文提出了一种名为AutoSP的自动化工具,它通过编译器自动优化大语言模型的长文本训练,无需用户手动编写复杂代码,即可在NVIDIA和AMD硬件上将可训练上下文长度提升2.5到2.7倍,同时几乎不影响运行速度。