arXiv ID:
2606.03606
测试大语言模型算术推理的泛化能力:基于自动数值重映射的攻击方法 / Testing LLM Arithmetic Reasoning Generalization with Automatic Numeric-Remapping Attacks
1️⃣ 一句话总结
本文提出了一种自动化的数值重映射攻击方法,通过在不改变问题逻辑结构的前提下替换其中的数字,来评估大语言模型在算术推理任务中的脆弱性;实验发现,模型在复杂数据集(如GSM8K)上表现显著下降,而在更简洁的数据集上则保持稳定,表明模型的数值推理泛化能力依赖于数据集的结构复杂度。