arXiv:2412.13989

What makes a good metric? Evaluating automatic metrics for text-to-image consistency

Candace Ross, Melissa Hall, Adriana Romero Soriano, Adina Williams

제출 2024-12-18

원문 초록

Language models are increasingly being incorporated as components in larger AI systems for various purposes, from prompt optimization to automatic evaluation. In this work, we analyze the construct validity of four recent, commonly used methods for measuring text-to-image consistency - CLIPScore, TIFA, VPEval, and DSG - which rely on language models and/or VQA models as components. We define construct validity for text-image consistency metrics as a set of desiderata that text-image consistency metrics should have, and find that no tested metric satisfies all of them. We find that metrics lack sufficient sensitivity to language and visual properties. Next, we find that TIFA, VPEval and DSG contribute novel information above and beyond CLIPScore, but also that they correlate highly with each other. We also ablate different aspects of the text-image consistency metrics and find that not all model components are strictly necessary, also a symptom of insufficient sensitivity to visual information. Finally, we show that all three VQA-based metrics likely rely on familiar text shortcuts (such as yes-bias in QA) that call their aptitude as quantitative evaluations of model performance into question.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.16025cs.CV공통 태그 Sensitivity, Visual Question Answering (VQA)

CP-LLM: Context and Pixel Aware Large Language Model for Video Quality Assessment

비디오 품질 평가(VQA)는 폭넓은 응용을 가진 도전적인 연구 주제입니다. 전통적인 수작업 특징 기반 및 판별 학습 기반 VQA 모델은 주로 픽셀 수준의 왜곡에 초점을 맞추며 문맥적 이해가 부족한 반면, 최근의 멀티모달 대규모 언어 모델(MLLMs)은 작은 왜곡에 대한 민감도가 떨어지거나 품질 점수 산출과 설명을 별개의 작업으로 처리하는 한계가 있습니다. 이러한 문제를 해결하기 위해 우리는 CP-LLM: Context- and Pixel-aware Large Language Model을 제안합니다. CP-LLM은 고수준(비디오 문맥)과 저수준(픽셀 왜곡) 입자성에서 지각적 품질을 독립적으로 분석하도록 설계된 이중 비전 인코더와, 이후 이들 측면 간의 상호작용에 대해 추론하는 언어 디코더를 갖춘 새로운 멀티모달 LLM 아키텍처입니다. 이 설계를 통해 CP-LLM은 강인한 품질 점수와 해석 가능한 품질 설명을 동시에 생성할 수 있으며, 픽셀 왜곡(예: 압축 아티팩트)에 대한 민감도도 향상됩니다. 실험 결과, CP-LLM은 VQA 벤치마크에서 데이터셋 간 최첨단 성능을 달성했으며 픽셀 왜곡에 대해서도 뛰어난 강건성을 보였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.