캡션을 시험대에 올리다: 객관식 질의응답을 통한 비디오 캡션 품질 평가
Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering
한국어 초록
비디오 캡셔닝을 평가하는 일은 시각 대규모 언어 모델(Visual Large Language Models, VLLMs)에게 여전히 중요한 과제입니다. 기존 평가 지표는 주로 생성된 텍스트를 정답 참조 문장과 대조하는 방식에 의존합니다. 이러한 패러다임은 비디오 설명이 지니는 '일대다(one-to-many)' 특성 때문에 어려움을 겪습니다. 즉, 고품질 캡션이 어휘 불일치나 타당한 시각적 초점 이동 때문에 오히려 감점되는 경우가 많습니다. 더욱이 이러한 평가는 대개 일차원적이어서 캡션 품질에 대한 세밀한 분석을 제공하지 못합니다. 이를 해결하기 위해 본 연구는 정보 충실도(information fidelity)의 관점에서 캡션 품질을 다시 정의합니다. 캡션은 엄격한 사실성을 보장하면서 핵심적인 시각 정보의 포괄 범위를 최대화해야 합니다. 본 연구는 새로운 참조 불필요(reference-free) 벤치마크인 CapQuiz를 소개합니다. CapQuiz는 비디오에서 도출되고 사람이 검증한 세분화된 객관식 질문에 답하는 데 캡션이 얼마나 유용한지를 기준으로 캡션을 평가합니다. CapQuiz는 24개의 다양한 비디오 도메인에 걸쳐 (서술형 및 추론형 범주를 아우르는) 10가지 질문 유형의 계층적 분류 체계를 갖추고 있습니다. 광범위한 실험을 통해 CapQuiz가 기존 지표보다 사람의 판단과 유의미하게 더 높은 상관관계를 보이며, 모델 성능에 대해 해석 가능한 통찰을 제공함을 입증합니다.
원문 초록
Evaluating video captioning remains a critical challenge for Visual Large Language Models (VLLMs). Existing metrics primarily rely on matching generated text against ground-truth references. This paradigm suffers from the ``one-to-many'' nature of video description, where high-quality captions are often penalized for lexical mismatches or valid shifts in visual focus. Furthermore, such assessments are typically one-dimensional, failing to provide a fine-grained analysis of caption quality. To address this, we redefine caption quality through the lens of information fidelity: A caption must maximize the coverage of salient visual information while ensuring strict factuality. We introduce CapQuiz, a novel reference-free benchmark that assesses captions based on their utility in answering human-verified, fine-grained, multiple-choice questions derived from the video. CapQuiz features a hierarchical taxonomy of 10 question types (spanning Descriptive and Inferential categories) across 24 diverse video domains. Extensive experiments demonstrate that CapQuiz correlates significantly better with human judgments than existing metrics and offers interpretable insights into model performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.09973v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.