🤖 系统
11-30 17:43
📄 论文总结
TokDrift:当大语言模型以子词说话而代码以语法说话 / TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar
1️⃣ 一句话总结
这篇论文发现,由于代码大语言模型使用的子词分词方法(如BPE)与代码语法不匹配,导致即使微小的格式变化(如空格或变量名)也会显著影响模型行为,揭示了当前分词方式是代码理解和生成可靠性的一个隐藏障碍。