계단식 시맨틱을 활용한 비전 파운데이션 모델의 적응
Adapting Vision Foundation Models with Cascaded Semantics
한국어 초록
자연어 처리(NLP) 분야의 대표적인 매개변수 효율적 적응(parameter-efficient adaptation) 패러다임인 프롬프트 튜닝(prompt tuning)은 최근 컴퓨터 비전(CV)으로 확장되었습니다. 시각적 프롬프트 튜닝(VPT)은 소수의 추가 프롬프트 매개변수만을 업데이트하여 사전학습된 비전 트랜스포머(ViT)를 적응시킵니다. 그러나 기존의 시각적 프롬프트는 무작위로 초기화되며 NLP의 인스트럭션과 같은 사전 지식을 활용하지 못합니다. 본 연구에서는 상호 보완적인 두 가지 시맨틱 사전 지식을 VPT에 주입하여 이러한 한계를 해결합니다. 색상, 질감, 형태를 포함한 기본적인 이미지 사전 지식을 기존의 수작업 연산자로 추출하여 입력 공간에 주입하는 한편, 셀프 어텐션 맵을 통해 특징 공간에 인스턴스 인식 시맨틱을 제공합니다. 더 나아가 ViT 적응 과정 전반에서 두 사전 지식을 통합하는 계단식(cascaded) 방식을 제안합니다. 34개의 도전적인 이미지 분류 데이터셋을 대상으로 한 실험 결과, ViT 매개변수의 0.74%만을 튜닝하면서도 우수한 다운스트림 적응 성능을 달성함을 입증했습니다. 프로젝트 페이지: https://xixiaouab.github.io/Cascaded-Semantics/.
원문 초록
Prompt tuning, a leading parameter-efficient adaptation paradigm in NLP, has recently been extended to computer vision. Visual prompt tuning (VPT) adapts pre-trained vision transformers (ViTs) by updating a small set of additional prompt parameters. However, existing visual prompts are randomly initialized and do not exploit prior knowledge, such as instructions in NLP. We address this gap by injecting two complementary semantic priors into VPT. Fundamental image priors, including color, texture, and shape, are extracted with classical hand-crafted operators and injected into the input space, while self-attention maps provide instance-aware semantics in the feature space. We further propose a cascaded scheme that integrates both priors throughout ViT adaptation. Experiments on 34 challenging image classification datasets demonstrate superior downstream adaptation while tuning only 0.74% of ViT parameters. Project page: https://xixiaouab.github.io/Cascaded-Semantics/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.05393v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.