arXiv ID:
2607.11875
arXiv 提交日期: 2026-07-13
Transformer在归纳推理任务中的不变学习动力学 / Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks
1️⃣ 一句话总结
该论文提出了一个理论框架,证明Transformer语言模型在归纳推理任务中的训练过程可以被简化到几个可解释的低维坐标上,从而清晰揭示了模型如何通过数据统计特性在“上下文学习”和“权重学习”之间竞争,以及随机初始化如何影响最终形成的推理回路。