arXiv ID:
2606.17522
arXiv 提交日期: 2026-06-16
基于有界深度文法的深度Transformer层次建模表达能力分析 / An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars
1️⃣ 一句话总结
该论文通过有界深度上下文无关文法这一理论工具,严格证明了深度Transformer模型能够随着网络层数的线性增加,逐步构建出层次化的语言结构,并将抽象的语法状态编码为残差流中低维、线性可分的子空间,从而支持了深度学习中的层次表示假设。