📄 论文总结
TOKDRIFT：量化代码大语言模型对分词漂移的敏感性 / TOKDRIFT: Quantifying Code Large Language Models' Sensitivity to Tokenization Drift
1️⃣ 一句话总结
本研究提出TOKDRIFT框架，发现即使微小的代码格式变化也会导致代码大语言模型性能显著下降，揭示了子词分词与编程语言语法不对齐的根本问题。
2️⃣ 论文创新点
1. TOKDRIFT评估框架
- 创新点：通过语义保留重写规则创建仅分词不同的代码变体，系统量化模型对分词变化的敏感性
- 区别/改进：解决了传统指标无法捕捉输出变化的局限性，提供无偏的鲁棒性评估方法
- 意义：为评估代码LLM的可靠性提供了系统化工具，揭示了分词对齐问题对代码理解的影响
2. 敏感性度量指标
- 创新点：提出sensitivity指标，定义为重写规则改变输入后输出正确性翻转的样本百分比
- 区别/改进：避免了准确率变化的抵消效应，排除了未受重写规则影响的样本
- 意义：提供了更准确、无偏的LLM鲁棒性评估方法
3. 多维度实验设计
- 创新点：涵盖代码修复、代码总结和代码翻译三种任务，聚焦Java和Python两种编程语言，使用24条语义保持重写规则
- 区别/改进：系统性覆盖了代码LLM的主要应用场景，专门针对模型对代码格式的敏感性
- 意义：为评估LLM对代码重写规则的鲁棒性提供了全面的测试基础
3️⃣ 主要结果与价值
结果亮点
- 简单代码格式变化（如命名风格转换、空格调整）可导致模型性能显著下降，某些情况下准确率下降超过8个百分点
- 命名重写平均敏感度为9.26%，空格重写为8.29%，其中S17和S18规则影响最大
- 模型大小与鲁棒性相关，大模型通常更稳健，标识符片段变化会显著增加模型敏感性
实际价值
- 揭示了当前代码LLM对代码格式变化的脆弱性，对实际部署中的可靠性评估具有重要指导意义
- 为开发语法感知的分词器提供了理论依据，推动更鲁棒的代码理解模型发展
- 提出的评估框架可用于测试不同模型对代码风格变化的适应性，辅助模型选择
4️⃣ 术语表
- TOKDRIFT：量化代码大语言模型对语义保留代码重写敏感性的框架，用于评估模型对分词变化的鲁棒性
- subword tokenization：基于统计的子词分词方法，如BPE，与编程语言语法存在不对齐问题
- sensitivity：重写规则改变输入后，输出正确性翻转的样本百分比，用于衡量模型对token变化的鲁棒性
- rewrite rule：用于改变输入文本tokenization模式的规则，保持语义不变
- identifier fragment change：标识符片段变化，指重写前后标识符被tokenize成不同子词序列的情况
- tokenization drift：分词漂移，指token边界与编程语言语法不对齐的问题
- hidden states：LLM内部理解和推理过程的表示，反映模型对输入的处理状态