arXiv ID:
2607.04167
arXiv 提交日期: 2026-07-05
语言模型中序数表征的几何结构 / Geometry of Ordinal Representations in Language Models
1️⃣ 一句话总结
这篇论文发现,语言模型在处理某些序数任务(如括号深度或缩进层级)时,会在大脑中形成一条弯曲的一维“数轴”,并利用特定的注意力头进行几何运算,但对于需要跨位置理解或提取语义的任务(如判断数字大小),模型则采用了更复杂或混乱的表示方式。