arXiv:2607.02158v1 cs.CV

Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

Altay Toktassyn, Jurn-Gyu Park

제출 2026-07-02

원문 초록

Modern pretrained vision models achieve strong accuracy but demand substantial GPU memory for fine-tuning, making edge deployment impractical. This paper compares five parameter-efficient fine-tuning (PEFT) methods (Full FT, LoRA, AdaLoRA, QLoRA, BitFit) on Transformers- (ViT-Small, TinyViT) and Mamba-based vision backbones (Vim-Small, MambaVision-T) under an on-device VRAM budget (e.g., 2 GB), together with three gradient-checkpointing strategies (none, static, and a proposed memory-budget-aware adaptive algorithm); and we evaluate three families of foundation-model baselines: zero-shot contrastive vision language models (OpenCLIP, SigLIP), self-supervised vision backbones with lightweight evaluation protocols (DINOv2), and autoregressive VLMs for prompt-based classification (PaliGemma, MobileVLM, SmolVLM). Experiments on CIFAR-100 and DTD report accuracy, training time, energy, and the NetScore family of multi-objective metrics, which we extend with two deployment-aware variants. QLoRA and BitFit cut energy 20-30% at a 1-2% accuracy cost; the adaptive algorithm reduces peak memory 43-79% with 9-30% energy overhead. DINOv2 surpasses fine-tuned models on CIFAR-100 (0.917 vs. 0.897) at a fraction of the energy, while small autoregressive VLMs remain uncompetitive.

요약

제한된 VRAM 환경(2GB 수준)에서 Transformer 및 Mamba 기반 비전 백본에 LoRA, AdaLoRA, QLoRA, BitFit 등 5가지 파라미터 효율적 파인튜닝(PEFT) 기법과 메모리 예산 인식 적응형 그래디언트 체크포인팅 알고리즘을 비교 평가한 연구로, QLoRA와 BitFit이 정확도 1~2% 손실로 에너지를 20~30% 절감하고, 제안한 적응형 알고리즘이 피크 메모리를 최대 79%까지 감소시킴을 보였다. 또한 DINOv2가 CIFAR-100에서 파인튜닝 모델을 능가하며 훨씬 적은 에너지로도 경쟁력 있는 성능을 달성한 반면, 소형 자기회귀 비전-언어 모델(VLM)은 이 환경에서 경쟁력이 낮음을 확인하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02158v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.