arXiv ID:
2603.02874
arXiv 提交日期: 2026-03-03
检索能力探究:Transformer、状态空间模型与混合架构的上下文检索能力 / Retrievit: In-context Retrieval Capabilities of Transformers, State Space Models, and Hybrid Architectures
1️⃣ 一句话总结
这篇论文通过两项合成检索任务发现,结合Transformer和状态空间模型的混合架构在数据效率和信息密集检索上能媲美甚至超越Transformer,但在位置检索任务上Transformer仍占优,并揭示了不同模型学习位置关联方式的根本差异。