arXiv ID:
2605.18654
arXiv 提交日期: 2026-05-18
袖珍基础模型:将表格基础模型蒸馏为可在CPU上运行的高效梯度提升树 / Pocket Foundation Models: Distilling TFMs into CPU-Ready Gradient-Boosted Trees
1️⃣ 一句话总结
本文提出一种将大型表格基础模型(TFM)的知识蒸馏为轻量级梯度提升树(如XGBoost和CatBoost)的方法,核心创新在于采用分层式留出法(Stratified OOF)解决教师模型在自训练集上标签泄露导致软标签失效的问题,使学生模型在仅需1.9毫秒的CPU推理时间内达到教师模型96.5%的AUC性能,实现了数十至数百倍的加速。