arXiv ID:
2604.06836
STQuant:面向大型多模态模型训练中优化器量化的时空自适应框架 / STQuant: Spatio-Temporal Adaptive Framework for Optimizer Quantization in Large Multimodal Model Training
1️⃣ 一句话总结
这篇论文提出了一个名为STQuant的智能框架,它能在训练大型AI模型时,根据模型不同部分和不同训练阶段的需求,动态调整优化器数据的存储精度,从而在几乎不影响模型性能的前提下,将优化器占用的内存大幅减少超过84%。