arXiv ID:
2605.17778
arXiv 提交日期: 2026-05-18
在尖峰协方差模型中,自我蒸馏是最优的谱收缩估计方法 / Self-Distillation is Optimal Among Spectral Shrinkage Estimators in Spiked Covariance Models
1️⃣ 一句话总结
本文通过严格证明指出,在数据存在少量主要特征(尖峰)的协方差模型中,进行恰好等于特征数量的多步自我蒸馏,能够比其他常见统计方法更准确地估计数据的内在结构,并且最佳方法在不同数据分布和联邦学习场景下都表现为自我蒸馏的一种变体。