arXiv ID:
2512.20757
arXiv 提交日期: 2025-12-23
TokSuite:衡量分词器选择对语言模型行为的影响 / TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior
1️⃣ 一句话总结
这篇论文通过构建一个包含不同分词器的统一模型套件和新基准测试,揭示了分词器选择如何显著影响语言模型的性能和表现,为理解和选择合适的分词器提供了实证依据。