arXiv ID:
2606.25975
arXiv 提交日期: 2026-06-24
Tensorion:一种针对Muon优化器的张量感知泛化方法 / Tensorion: A Tensor-Aware Generalization of the Muon Optimizer
1️⃣ 一句话总结
本文提出了一种名为Tensorion的新型优化算法,它能够利用神经网络中高阶张量参数的结构信息,通过精心设计的张量范数约束和线性最小化步骤,在保持计算效率的同时,比传统方法和现有张量感知方法在张量型计算机视觉任务上表现出更稳定的梯度更新和更快的收敛速度。