faculty.chiba-u.jp

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.24142v1cs.CV

프롬프트 학습은 무엇을 바꾸는가? - 비전-언어 모델의 자연어 개념 분석

What Does Prompt Learning Change? -A Natural-Language Concept Analysis of Vision-Language Models

프롬프트 학습은 연속적인 프롬프트 벡터를 최적화하여 CLIP과 같은 비전-언어 모델을 적응시키지만, 학습된 프롬프트는 자연어로 해석하기 어렵다. 본 논문은 각 클래스 조건 텍스트 임베딩을 고정된 자연어 사전의 개념들의 희소 조합으로 표현하는 사후(post-hoc) 방법인 PromptSpLiCE를 제안한다. 프롬프트 학습 전후에 동일한 사전을 사용하면 개념 프로필의 변화를 비교할 수 있다. 대표적인 프롬프트 학습 방법인 CoOp에 대해 11개 이미지 분류 데이터셋에서 PromptSpLiCE를 평가하였다. 개념 프로필은 상당히 변한다. 평균적으로 초기 상위 10개 개념 중 학습 후에도 상위 10에 남는 것은 1.6개에 불과하다. 데이터셋 전반에 걸쳐 프로필 변화는 정확도 향상과 양의 상관관계를 보인다. 또한 현재 프롬프트와 구별되는 이미지 정렬(image-aligned) 개념 방향이 더 큰 손실 민감도를 가질 수 있는 이유에 대한 기하학적 직관을 제공하는 국소 그래디언트 식을 도출한다.