PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03617v1cs.CV

DEPICT: 답변 일치도를 통한 텍스트-이미지 정렬 점수화

DEPICT: Scoring Text-to-Image Alignment by Answer Agreement

이미지-텍스트 정렬(image-text alignment)은 캡션 평가, 환각(hallucination) 감지, 데이터 큐레이션, 텍스트-이미지(T2I) 생성 모델 벤치마킹 등에 응용되는 컴퓨터 비전의 핵심 문제입니다. T2I 모델이 발전함에 따라 벤치마킹 요구 수준도 높아져, 누락된 객체, 뒤바뀐 속성, 잘못된 개수 세기, 무시된 부정 표현과 같은 일련의 문제들을 발견할 수 있는 평가 지표가 필요해졌습니다. 최근 연구들은 선호도 데이터로 평가 모델을 미세조정(fine-tuning)하거나 비전-언어 모델(VLM)에 캡션을 통째로 프롬프트로 주거나 분해된 검증 질문을 제공하는 방식으로 이를 해결하고자 합니다. 그러나 기존 접근 방식에는 한계가 있습니다. 미세조정된 지표는 단일 백본 및 학습 분포에 종속되며, 전체론적(holistic) 지표는 세밀한 세부 정보를 놓치고, 분해 기반 지표는 가정이 깨질 때마다 충실한 이미지에 불이익을 주는 '고정된 YES' 가정에 의존합니다. 이에 반해, 본 논문에서는 고정된 참조 답변 대신 이미지 기반 답변과 캡션 전용 답변 간의 기대 일치도를 사용하고, 캡션이 질문을 얼마나 결정적으로 판별하는지에 따라 가중치를 부여하는 학습 불필요(training-free) 지표인 DEPICT를 제안합니다. 고정된 참조 답변을 대체함으로써, 이러한 일치 규칙은 부정 표현 정확도를 19%에서 88%로 향상시킵니다. 또한 분해 과정에서 손실된 문맥을 복원하기 위해, DEPICT는 이 일치 점수를 전체론적 점수와 병합합니다. 3개 모델 계열의 11개 백본과 5개 벤치마크에서 DEPICT를 평가한 결과, 모든 학습 불필요 지표를 능가했으며 인간 상관관계 벤치마크 3개 중 2개에서 미세조정된 평가 모델보다 우수한 성능을 보였습니다.

arXiv:2610.00952v1cs.CV

재캡션된 이미지-텍스트 감독 분포를 위한 매칭 예산 감사 프레임워크

A Matched-Budget Audit Framework for Recaptioned Image-Text Supervision Distributions

재캡션된 이미지-텍스트 코퍼스는 이제 텍스트-투-이미지(T2I) 학습의 표준이 되었으며, 비전-언어 모델(VLM) 캡셔너가 희소한 대체 텍스트(alt-text)를 밀도 높은 설명으로 대체하고 있다. 재캡션된 코퍼스는 문서화된 캡셔닝 정책($π$), 캡셔너($V_c$), 소스 코퍼스($C$)에 의해 유도된 감독 분포(supervision distribution)이다. 길이 상관 프록시(proxy)는 캡션 문체(register) 관련 아티팩트를 포착하지 못하고, 하류(downstream) T2I 벤치마크는 코퍼스를 학습 선택지와 뒤섞어버리기(entangle) 때문에, 이 분포는 코퍼스 규모에서 감사하기가 어렵다. 본 논문은 재캡션된 감독 분포 $D_{π,V_c,C}$에 대해 재사용 가능한 매칭 예산 감사 프레임워크를 제안한다. 이 프레임워크는 $B = 64$로 고정된 텍스트 예산에서 프롬프트 측 커버리지, 이미지 조건부 충실도, 캡션 표면 건강성(surface health)에 걸친 5축 프로파일을 보고하며, 주장된 통제 가능 기본 단위(controllable basic unit, CBU)를 공통 주장 단위로 사용한다. 우리는 5개의 공개 소스 코퍼스에 대한 7개의 짝지어진 비교를 통해 이 프레임워크를 구체화한다. 4개의 교차 코퍼스 쌍 전반에서, 공개된 표면(surface)은 Qwen과 Gemma 판정자(Judge) 모두에서 캡션당 지지되는 CBU를 $+3.39$에서 $+6.36$까지 끌어올리며, CC12M에서는 동일한 프레임워크가 두 판정자와 네 가지 예산 전반에서 일관되게 나타나는 긴/밀집(long-vs-dense) 프런티어를 드러낸다. 우리는 감사된 다중 소스 재캡션 코퍼스(약 4억 9천만 개)를 감사 아티팩트 번들과 함께 공개한다.