arXiv ID:
2604.20817
arXiv 提交日期: 2026-04-22
趋同演化:不同语言模型如何学习相似的数值表征 / Convergent Evolution: How Different Language Models Learn Similar Number Representations
1️⃣ 一句话总结
这项研究发现,尽管Transformer、线性RNN、LSTM等不同类型的语言模型训练方式各异,它们都学会用周期为2、5和10的规律来表征数字,但只有部分模型能进一步形成可用于数字分类的几何可分离特征,揭示了模型在学习数值表示时的趋同与分化现象。