arXiv ID:
2605.28760
arXiv 提交日期: 2026-05-27
大语言模型的零阶微调本质上是一种推理任务 / LLM Zeroth-Order Fine-Tuning is an Inference Workload
1️⃣ 一句话总结
本文发现,大语言模型的零阶微调(无需反向传播,仅靠多次前向评估)实际运行中大部分计算是重复的、类似推理的打分操作,因此将这一过程放到推理服务框架(如vLLM)中执行,相比传统训练循环可提升2.34到8.13倍速度,同时保持相近的模型准确率,为未来将轻量模型适配作为推理任务调度提供了新思路。