arXiv ID:
2606.19249
arXiv 提交日期: 2026-06-17
Transformer几何观测站TGO-I:谱几何观测站 / Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory
1️⃣ 一句话总结
本文构建了一个名为TGO的系统性分析框架,用于深入探究视觉Transformer模型内部表征的几何结构,并通过实验发现:在训练过程中,模型并非将信息压缩到少数主导方向,而是使表征的维度利用更均匀、各向异性降低、谱熵增加,其中最终的分类标记(CLS token)表征具有最高的有效维度和最低的各向异性,这一发现挑战了传统直觉。