PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03617v1cs.CV

DEPICT: 답변 일치도를 통한 텍스트-이미지 정렬 점수화

DEPICT: Scoring Text-to-Image Alignment by Answer Agreement

이미지-텍스트 정렬(image-text alignment)은 캡션 평가, 환각(hallucination) 감지, 데이터 큐레이션, 텍스트-이미지(T2I) 생성 모델 벤치마킹 등에 응용되는 컴퓨터 비전의 핵심 문제입니다. T2I 모델이 발전함에 따라 벤치마킹 요구 수준도 높아져, 누락된 객체, 뒤바뀐 속성, 잘못된 개수 세기, 무시된 부정 표현과 같은 일련의 문제들을 발견할 수 있는 평가 지표가 필요해졌습니다. 최근 연구들은 선호도 데이터로 평가 모델을 미세조정(fine-tuning)하거나 비전-언어 모델(VLM)에 캡션을 통째로 프롬프트로 주거나 분해된 검증 질문을 제공하는 방식으로 이를 해결하고자 합니다. 그러나 기존 접근 방식에는 한계가 있습니다. 미세조정된 지표는 단일 백본 및 학습 분포에 종속되며, 전체론적(holistic) 지표는 세밀한 세부 정보를 놓치고, 분해 기반 지표는 가정이 깨질 때마다 충실한 이미지에 불이익을 주는 '고정된 YES' 가정에 의존합니다. 이에 반해, 본 논문에서는 고정된 참조 답변 대신 이미지 기반 답변과 캡션 전용 답변 간의 기대 일치도를 사용하고, 캡션이 질문을 얼마나 결정적으로 판별하는지에 따라 가중치를 부여하는 학습 불필요(training-free) 지표인 DEPICT를 제안합니다. 고정된 참조 답변을 대체함으로써, 이러한 일치 규칙은 부정 표현 정확도를 19%에서 88%로 향상시킵니다. 또한 분해 과정에서 손실된 문맥을 복원하기 위해, DEPICT는 이 일치 점수를 전체론적 점수와 병합합니다. 3개 모델 계열의 11개 백본과 5개 벤치마크에서 DEPICT를 평가한 결과, 모든 학습 불필요 지표를 능가했으며 인간 상관관계 벤치마크 3개 중 2개에서 미세조정된 평가 모델보다 우수한 성능을 보였습니다.