arXiv ID:
2607.04319
arXiv 提交日期: 2026-07-05
可解释性构建:注意力机制与端到端Transformer / Legible-by-Construction: Attention and End-to-End Transformers
1️⃣ 一句话总结
本文提出了一种在不牺牲语言模型性能的前提下,通过将注意力层中的值通道转化为可读的语义检测器,并与前馈层的可解释集合操作相结合,构建出首个完全可解释的端到端Transformer模型的方法。