arXiv ID:
2512.07805
群表示位置编码 / Group Representational Position Encoding
1️⃣ 一句话总结
这篇论文提出了一个名为GRAPE的统一框架,它利用数学中的群作用理论,将RoPE和ALiBi等主流位置编码方法都纳入其中,为设计长文本模型中的位置信息表示提供了一个更通用、更灵活的理论基础。
群表示位置编码 / Group Representational Position Encoding
这篇论文提出了一个名为GRAPE的统一框架,它利用数学中的群作用理论,将RoPE和ALiBi等主流位置编码方法都纳入其中,为设计长文本模型中的位置信息表示提供了一个更通用、更灵活的理论基础。
超越实数:面向长上下文大语言模型的旋转位置编码虚部扩展 / Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs
这篇论文提出了一种改进的旋转位置编码方法,通过重新利用之前被丢弃的虚部信息来增强大语言模型对长文本的理解能力,实验证明该方法能有效提升长上下文任务的性能。
DreamingComics:一种基于视频模型、通过主体与布局定制生成的故事可视化流程 / DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models
这篇论文提出了一个名为DreamingComics的故事可视化新方法,它通过改进的视频模型和创新的布局控制技术,能根据文字脚本自动生成漫画风格且角色与画风高度一致的连续画面。
DoPE:去噪旋转位置编码 / DoPE: Denoising Rotary Position Embedding
这篇论文提出了一种无需训练的去噪方法DoPE,通过检测并修正位置编码中的异常频率成分,有效解决了Transformer模型在处理长文本时注意力失衡的问题,显著提升了模型在超长上下文中的检索准确性和推理稳定性。
DyPE:面向超高分辨率扩散模型的动态位置外推方法 / DyPE: Dynamic Position Extrapolation for Ultra High Resolution Diffusion
这项研究提出了一种无需重新训练的动态位置外推技术,通过自适应调整扩散模型的位置编码来匹配生成过程中的频谱变化,从而在零额外采样成本下实现远超训练分辨率的图像生成,显著提升了超高分辨率图像的质量和细节表现。
RoPE背后:因果掩码如何编码位置信息? / Behind RoPE: How Does Causal Mask Encode Positional Information?
这篇论文揭示了在Transformer解码器中,除了显式位置编码(如RoPE)外,因果掩码本身也能提供位置信息,它会诱导注意力偏向邻近位置,并与RoPE相互作用,改变其相对注意力模式。
请先 登录 后再提交论文