🤖 系统
11-30 17:35
📄 论文总结
稀疏查询注意力(SQA):一种通过减少查询头实现计算高效的新型注意力机制 / Sparse Query Attention (SQA): A Computationally Efficient Attention Mechanism with Query Heads Reduction
1️⃣ 一句话总结
这篇论文提出了一种名为稀疏查询注意力的新方法,通过减少查询头的数量直接降低计算复杂度,在长序列处理任务中能提升高达3倍的计算效率,同时基本保持模型性能不变。