arXiv ID:
2606.10650
动态线性注意力 / Dynamic Linear Attention
1️⃣ 一句话总结
本文提出了一种名为DLA的动态记忆建模框架,通过根据词语重要性自适应调整记忆状态的分界点,并在固定大小的缓存中智能合并低价值信息,显著提升了线性注意力机制处理长文本的准确性和效率。
动态线性注意力 / Dynamic Linear Attention
本文提出了一种名为DLA的动态记忆建模框架,通过根据词语重要性自适应调整记忆状态的分界点,并在固定大小的缓存中智能合并低价值信息,显著提升了线性注意力机制处理长文本的准确性和效率。
变分线性注意力:面向长上下文Transformer的稳定关联记忆 / Variational Linear Attention: Stable Associative Memory for Long-Context Transformers
本文提出了一种名为变分线性注意力(VLA)的新方法,通过将线性注意力中的记忆更新重新建模为带有自适应惩罚项的正则化最小二乘问题,并引入归一化写入方向,有效解决了传统线性注意力在处理长序列时记忆状态不断增长、干扰逐渐累积的核心缺陷,从而在长上下文中实现了稳定、高效的关联记忆检索。
拉普拉斯变换器:用拉普拉斯核重新思考线性注意力机制 / LaplacianFormer:Rethinking Linear Attention with Laplacian Kernel
本文提出了一种名为拉普拉斯变换器的新型Transformer架构,通过使用拉普拉斯核代替传统的softmax注意力机制,在保持线性计算复杂度的同时更准确地捕捉长距离和中距离的像素交互,并搭配高效的数值算法和GPU加速,在图像识别任务上实现了更好的性能与效率平衡。
无需多模态注意力的门控条件注入:迈向可控的线性注意力Transformer / Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers
这篇论文提出了一种专门为高效线性注意力模型设计的新框架,通过一个统一的门控条件模块,成功解决了现有方法在整合多种控制信号时灵活性不足或训练缓慢的问题,从而在保护用户隐私的边缘设备上实现了高质量、可控的图像生成。
ViT-AdaLA:使用线性注意力适配视觉Transformer / ViT-AdaLA: Adapting Vision Transformers with Linear Attention
这篇论文提出了一种名为ViT-AdaLA的新方法,它通过注意力对齐、特征对齐和微调三个步骤,高效地将现有高性能视觉大模型的知识迁移到计算效率更高的线性注意力模型中,从而在保持强大性能的同时显著降低了计算成本。
门控差分线性注意力:一种用于高保真医学分割的线性时间解码器 / Gated Differential Linear Attention: A Linear-Time Decoder for High-Fidelity Medical Segmentation
这篇论文提出了一种名为PVT-GDLA的新型医学图像分割模型,它通过创新的门控差分线性注意力机制,在保持线性计算复杂度的同时,显著提升了分割的精度和边界清晰度,为临床部署提供了既高效又准确的解决方案。
基于KV绑定的测试时训练本质上是线性注意力机制 / Test-Time Training with KV Binding Is Secretly Linear Attention
这篇论文通过分析发现,基于键值对绑定的测试时训练并非传统认为的在线记忆学习,而本质上是一种学习到的线性注意力算子,这一新视角不仅解释了模型行为,还带来了架构简化和效率提升。
SALAD:通过高效的线性注意力微调实现视频扩散Transformer的高稀疏性注意力 / SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer
这篇论文提出了一种名为SALAD的新方法,通过在视频生成模型中巧妙地结合稀疏注意力和一个轻量级的线性注意力分支,并用一个智能门控机制来动态平衡两者,从而在几乎不损失生成质量的前提下,大幅提升了模型的计算效率,实现了90%的注意力稀疏度和1.72倍的推理加速,而且所需的训练数据和计算量非常少。
MHLA:通过令牌级多头机制恢复线性注意力的表达能力 / MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head
这篇论文提出了一种名为MHLA的新型线性注意力机制,它通过将输入数据分成多个独立的“头”来分别计算注意力,从而在保持计算效率的同时,有效解决了传统线性注意力模型表达能力下降的问题,并在图像分类、自然语言处理、图像生成和视频生成等多个任务上取得了显著的性能提升。
ReHyAt:用于视频扩散变换器的循环混合注意力机制 / ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
这篇论文提出了一种名为ReHyAt的新型循环混合注意力机制,它巧妙地将高精度的传统注意力与高效率的线性注意力结合起来,在保持视频生成顶尖质量的同时,将计算成本从平方级大幅降低到线性级,从而让生成更长视频或在小设备上运行变得切实可行。
请先 登录 后再提交论文