arXiv ID:
2604.28119
稀疏自编码器能否捕捉概念流形? / Do Sparse Autoencoders Capture Concept Manifolds?
1️⃣ 一句话总结
本文发现稀疏自编码器(SAE)虽然被广泛用于提取神经网络的独立线性特征,但实际上概念通常以低维流形(连续几何结构)的形式存在,而SAE要么通过全局覆盖要么通过局部拼贴的方式来捕捉这些流形,但由于其原子分配分散,导致概念流形结构难以被直接识别,因此未来应把几何对象(而非单个方向)作为可解释性的基本单元。