Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability
원문 초록
With the advancement of large pre-trained vision-language models, effectively transferring the knowledge embedded within these foundational models to downstream tasks has become a pivotal topic, particularly in data-scarce environments. Recently, parameter-efficient fine-tuning approaches, especially prompt tuning, have garnered considerable attention. To better understand the nature of prompt tuning, we propose the concept of ``Information Density'' (ID) to indicate whether a matrix strongly belongs to certain feature spaces rather than being evenly distributed across various feature spaces. We suppose a higher ID with strong bias across some feature spaces naturally leads to excellent robustness and stability. Our research, inspired by the observation that generalizability is closely linked to the information density of the prompt matrix, introduces the Dense Information Prompt (DIP). DIP aims to enhance information density to improve generalization. Furthermore, DIP significantly reduces the number of tunable parameters and the requisite storage space, making it particularly advantageous in resource-constrained settings. Comprehensive experiments substantiate the superiority of DIP. Notably, DIP surpasses the latest state-of-the-art methods by a substantial margin with an exceptionally small parameter count. Across a range of tasks spanning 11 datasets, DIP improves the average downstream accuracy of classic prompt tuning by up to 5.76% using merely 0.5K parameters.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models
MixedPEFT: 비지도 도메인 적응을 위해 혼합 목적함수로 여러 PEFT 기법을 결합하는 방법
MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation
사전학습된 언어 모델을 전체 미세조정(fine-tuning)을 통해 새로운 도메인에 적용하는 것은 연산 비용이 많이 들고 치명적 망각(catastrophic forgetting)이 발생하기 쉽습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 맞춤형 PEFT 아키텍처와 혼합 목적함수 학습(training)을 결합한 비지도 도메인 적응(unsupervised domain adaptation)을 위한 새로운 매개변수 효율적 전략을 소개합니다. 제안된 방법은 가역 어댑터(invertible adapter)와 LoRA(Low-Rank Adaptation)를 통합하며, 레이블이 지정된 소스 도메인 데이터에 대한 분류(classification)와 레이블이 지정되지 않은 타깃 도메인 데이터에 대한 마스크 언어 모델링을 공동으로 최적화합니다. 이러한 공동 학습 방식은 타깃 도메인의 지식을 보존하면서 태스크 적응을 지원합니다. 본 연구는 20개의 도메인 이동에 걸쳐 Multi-Genre Natural Language Inference(MNLI) 데이터셋(dataset)에서 해당 방법을 평가합니다. 제안하는 접근법은 모델(model) 매개변수(parameter)의 7%만 업데이트하면서도 매개변수 효율적 SOTA인 UDapter 대비 평균 1.41%p, 전체 미세조정된 DANN 기준선(baseline) 대비 1.26%p, DSN 대비 0.86%p의 성능 향상을 달성합니다. 이러한 결과는 매개변수 효율적 비지도 도메인 적응에 대한 새로운 SOTA 결과를 확립하며, 동시 최적화를 갖춘 정교하게 설계된 PEFT 조합이 매개변수 효율적 접근법과 기존의 전체 미세조정 접근법 모두를 능가할 수 있음을 입증합니다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Specification-based Security Evaluation of Real-World Agents Tool-Calling under Long-Horizon Context Tasks
Making Language Model a Hierarchical Classifier and Generator
InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing
토론
이 논문과 연결된 포럼 글이 아직 없습니다.