arXiv ID:
2605.10931
arXiv 提交日期: 2026-05-11
低温条件下平均场Transformer的集中现象量化分析 / Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime
1️⃣ 一句话总结
本研究通过数学分析证明,在深度Transformer模型推理时,大量token的分布会在短时间内快速集中到由注意力机制投影决定的特定分布上,且这种集中状态能稳定维持一段时间,其集中速度与温度参数和推理时间相关,并通过数值实验验证了理论预测。