arXiv ID:
2603.02597
arXiv 提交日期: 2026-03-03
GPUTOK:GPU加速的字节级BPE分词器 / GPUTOK: GPU Accelerated Byte Level BPE Tokenization
1️⃣ 一句话总结
这篇论文开发了一个在GPU上运行的快速分词工具,它能让处理超长文本的大语言模型运行得更快,在保证结果质量基本不变的前提下,速度比常用的CPU分词器快好几倍。