arXiv ID:
2602.11698
arXiv 提交日期: 2026-02-12
螺旋Transformer:通过多分辨率递归学习层次依赖关系的循环Transformer / SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion
1️⃣ 一句话总结
这篇论文提出了一种名为SpiralFormer的新型循环Transformer架构,它通过在不同分辨率(即不同信息压缩程度)的表示之间进行循环计算,让模型能够更高效地学习数据中的层次化依赖关系,从而在参数和计算效率上都超越了传统的循环和非循环Transformer模型。