arXiv ID:
2607.02460
arXiv 提交日期: 2026-07-02
面向无标注大语言模型自蒸馏的神经元感知数据选择方法 / Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation
1️⃣ 一句话总结
本文提出一种无需人工标注或外部反馈的神经网络自蒸馏框架,通过分析模型内部神经元的激活模式来智能选择高质量训练数据并构建教师模型,从而在保持跨领域通用性的同时提升特定专业任务的表现,避免传统方法导致的性能下降和校准误差问题。