arXiv ID:
2607.11883
arXiv 提交日期: 2026-07-13
递归编码:利用自生成训练数据突破模型压缩极限 / Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data
1️⃣ 一句话总结
本文提出了一种名为“递归编码”的新型模型压缩方法,通过让教师模型从学生模型自身生成的数据分布中挑选训练样本,使代码长度仅记录师生分歧点,从而实现了与模型参数规模和原始数据复杂度无关的超紧凑编码,并在千亿参数大语言模型上取得了最优泛化界限,揭示了模型规模越大、可压缩性越强的反直觉现象。