arXiv ID:
2607.05316
arXiv 提交日期: 2026-07-06
还剩多少?大语言模型线性编码其剩余输出长度 / How Much is Left? LLMs Linearly Encode Their Remaining Output Length
1️⃣ 一句话总结
这篇论文发现,大型语言模型在生成文本之前,其内部隐藏状态中已经以可解码的线性方式编码了将要生成的总长度,并且这种长度估计在模型中途修正回答时会动态更新,表明模型内部存在一种类似“写作计划”的机制。