arXiv ID:
2605.03769
arXiv 提交日期: 2026-05-05
Nora:面向可扩展矩阵优化器的归一化正交行对齐方法 / Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer
1️⃣ 一句话总结
本文提出了一种名为Nora的新型矩阵优化器,通过行向动量投影到权重正交补空间来稳定训练过程,并利用Transformer的块对角Hessian近似实现高效预条件化,从而同时满足加速优化、保持尺度不变性和降低计算开销三大需求。