프롬프트 학습은 무엇을 바꾸는가? - 비전-언어 모델의 자연어 개념 분석
What Does Prompt Learning Change? -A Natural-Language Concept Analysis of Vision-Language Models
한국어 초록
프롬프트 학습은 연속적인 프롬프트 벡터를 최적화하여 CLIP과 같은 비전-언어 모델을 적응시키지만, 학습된 프롬프트는 자연어로 해석하기 어렵다. 본 논문은 각 클래스 조건 텍스트 임베딩을 고정된 자연어 사전의 개념들의 희소 조합으로 표현하는 사후(post-hoc) 방법인 PromptSpLiCE를 제안한다. 프롬프트 학습 전후에 동일한 사전을 사용하면 개념 프로필의 변화를 비교할 수 있다. 대표적인 프롬프트 학습 방법인 CoOp에 대해 11개 이미지 분류 데이터셋에서 PromptSpLiCE를 평가하였다. 개념 프로필은 상당히 변한다. 평균적으로 초기 상위 10개 개념 중 학습 후에도 상위 10에 남는 것은 1.6개에 불과하다. 데이터셋 전반에 걸쳐 프로필 변화는 정확도 향상과 양의 상관관계를 보인다. 또한 현재 프롬프트와 구별되는 이미지 정렬(image-aligned) 개념 방향이 더 큰 손실 민감도를 가질 수 있는 이유에 대한 기하학적 직관을 제공하는 국소 그래디언트 식을 도출한다.
원문 초록
Prompt learning adapts vision-language models such as CLIP by optimizing continuous prompt vectors, but the learned prompts are difficult to interpret in natural language. We present PromptSpLiCE, a post-hoc method that expresses each class-conditioned text embedding as a sparse combination of concepts from a fixed natural-language dictionary. Using the same dictionary before and after prompt learning allows us to compare changes in their concept profiles. We evaluate PromptSpLiCE on CoOp, a representative prompt-learning method, across 11 image-classification datasets. The concept profiles change substantially: on average, only 1.6 of the initial top-10 concepts remain in the top 10 after learning. Across datasets, profile change is positively associated with accuracy gain. We also derive a local gradient expression that provides geometric intuition for why image-aligned concept directions distinct from the current prompt can have greater loss sensitivity.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.24142v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.