arXiv ID:
2602.15029
arXiv 提交日期: 2026-02-16
语言统计中的对称性塑造了模型表征的几何结构 / Symmetry in language statistics shapes the geometry of model representations
1️⃣ 一句话总结
这篇论文发现,语言中词语共现概率的平移对称性(例如,两个月份共现的概率只取决于它们的时间间隔)是导致大语言模型内部表征出现简单几何结构(如月份排成圆形)的根本原因,并且这种结构在数据受到干扰时依然保持稳定。