🤖 系统
11-30 17:53
📄 论文总结
DoPE:去噪旋转位置编码 / DoPE: Denoising Rotary Position Embedding
1️⃣ 一句话总结
这篇论文提出了一种无需训练的去噪方法DoPE,通过检测并修正位置编码中的异常频率成分,有效解决了Transformer模型在处理长文本时注意力失衡的问题,显著提升了模型在超长上下文中的检索准确性和推理稳定性。
请先 登录 后再提交论文
DoPE:去噪旋转位置编码 / DoPE: Denoising Rotary Position Embedding
这篇论文提出了一种无需训练的去噪方法DoPE,通过检测并修正位置编码中的异常频率成分,有效解决了Transformer模型在处理长文本时注意力失衡的问题,显著提升了模型在超长上下文中的检索准确性和推理稳定性。
当模态冲突时:单模态推理不确定性如何控制多模态大语言模型的偏好动态 / When Modalities Conflict: How Unimodal Reasoning Uncertainty Governs Preference Dynamics in MLLMs
这篇论文揭示了多模态大模型在处理视觉和文本信息冲突时,其决策主要受两个因素控制:模型对每种信息可靠性的实时判断差异,以及模型自身对某种信息类型的固有偏好,从而解释了模型在矛盾信息面前如何做出选择。