arXiv ID:
2607.02158
arXiv 提交日期: 2026-07-02
面向资源受限消费级GPU的高效参数微调与自适应检查点方法 / Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs
1️⃣ 一句话总结
本文针对内存有限的消费级GPU,对比了五种参数高效微调方法(如LoRA、QLoRA、BitFit)和三种梯度检查点策略(包括一种新的自适应算法),发现QLoRA和BitFit能在仅牺牲1-2%准确率的情况下降低20-30%能耗,自适应检查点可减少43-79%峰值内存但带来少量能耗开销,而DINOv2这类自监督视觉模型无需微调就能在性能上超越大多数微调模型且能耗更低。