arXiv ID:
2603.14833
消融与救援:残差流超连接结构的因果分析 / Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections
1️⃣ 一句话总结
这篇论文通过一种新的‘消融与救援’因果分析方法,首次深入揭示了多流Transformer架构(特别是mHC模型)内部各并行残差流如何分工协作、避免信息冗余,从而提升模型性能的工作机制。