arXiv ID:
2510.21270
arXiv 提交日期: 2025-10-24
通过令牌置换实现更稀疏的块稀疏注意力 / Sparser Block-Sparse Attention via Token Permutation
1️⃣ 一句话总结
这篇论文提出了一种名为PBS-Attn的新方法,通过重新排列输入序列中令牌的顺序,使得大语言模型在处理长文本时能够更高效地跳过不必要的计算块,从而在保持高精度的同时将预处理速度提升最高2.75倍。