LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
원문 초록
Large pre-trained models are commonly adapted to downstream tasks using parameter-efficient fine-tuning methods such as Low-Rank Adaptation (LoRA), which injects small trainable low-rank matrices instead of updating all weights. While LoRA dramatically reduces trainable parameters with little overhead, it can still underperform full fine-tuning in accuracy and often converges more slowly. We introduce LoFT, a novel low-rank adaptation method that behaves like full fine-tuning by aligning the optimizer's internal dynamics with those of updating all model weights. LoFT not only learns weight updates in a low-rank subspace (like LoRA) but also properly projects the optimizer's first and second moments (Adam's momentum and variance) into the same subspace, mirroring full-model updates. By aligning the low-rank update itself with the full update, LoFT eliminates the need for tuning extra hyperparameters, e.g., LoRA scaling factor $\alpha$. Empirically, this approach substantially narrows the performance gap between adapter-based tuning and full fine-tuning and consistently outperforms standard LoRA-style methods, all without increasing inference cost.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
마스크 미세조정을 통한 대규모 언어 모델 성능 향상
Boosting Large Language Models with Mask Fine-Tuning
대규모 언어 모델(LLM)은 일반적으로 주류 최적화 프로토콜에 통합됩니다. 그러나 모델의 무결성을 유지하는 것이 유의미한 성능을 위해 \textit{필수적}인지는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 가중치를 업데이트하지 않고도 모델의 구조적 무결성을 정교하게 깨뜨림으로써 놀랍게도 성능을 향상시킬 수 있음을 입증하는 새로운 LLM 미세조정 패러다임인 마스크 미세조정(Mask Fine-Tuning, MFT)을 소개합니다. MFT는 표준 LLM 미세조정 목적 함수를 감독 신호로 사용하여, 잘 최적화된 모델에 적용할 이진 마스크를 학습하고 적용합니다. 완전히 미세조정된 모델을 기반으로, MFT는 동일한 미세조정 데이터셋을 활용하여 여러 도메인 및 백본 전반에서 일관된 성능 향상을 달성합니다(예: LLaMA2-7B/3.1-8B 기반 IFEval에서 평균 2.70/4.15 향상). 상세한 절제 연구(ablation study) 및 분석을 통해 희소 비율(sparse ratio)과 손실 표면(loss surface)을 포함한 다양한 관점에서 제안된 MFT를 검토합니다. 또한 잘 훈련된 모델에 적용할 경우, MFT는 다른 LLM 최적화 절차와도 호환되어 전반적인 모델 성능을 향상시킵니다. 나아가 본 연구는 모델 압축을 위한 네트워크 가지치기에서의 전통적 용도를 넘어 마스킹 연산을 확장하여 더 광범위한 모델 역량을 아우르도록 합니다.
Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets for Vision
LoSiA: Efficient High-Rank Fine-Tuning via Subnet Localization and Optimization
Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models
GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors
AR-RAG: Autoregressive Retrieval Augmentation for Image Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.