arXiv ID:
2605.13485
arXiv 提交日期: 2026-05-13
Transformers中的有效上下文:碎片化与分词效应的分析 / Effective Context in Transformers: An Analysis of Fragmentation and Tokenization
1️⃣ 一句话总结
这篇论文研究了文本表示方式(如字节、字符或子词)如何影响Transformer模型在有限上下文窗口下的预测能力,提出了“碎片化”会损害性能而“分词化”能增强有效上下文的理论框架,并用信息论解释了字节级模型表现不如子词模型的内在原因。