arXiv ID:
2606.12273
超越完全随机掩码:面向扩散语言模型的注意力引导去噪与优化方法 / Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models
1️⃣ 一句话总结
本文提出了一种名为AGDO的新框架,通过分析扩散语言模型中注意力机制的作用,不再盲目随机决定哪些词先被生成,而是利用模型内部的注意力信号来智能规划去噪顺序,并重点优化关键词语,从而显著提升了模型在数学推理和编程等任务上的表现。