arXiv:2608.29210v1 cs.AI

Imag-Eval: 해석 가능한 텍스트-이미지 지시 수행 평가를 위한 언어 그라운딩 기반 프레임워크

Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation

Ibrahim Mohamed Serouis, David Jaramillo Duque

제출 2026-08-29

한국어 초록

텍스트-이미지(Text-to-Image, T2I) 모델은 최근 인상적인 시각적 충실도를 달성했지만, 이들에 대한 평가는 해석하기 어렵고 진단력이 충분하지 않은 벤치마크에 여전히 제약받고 있습니다. 기존의 스킬 기반 평가는 사용성에 큰 영향을 미치면서도 표준 분류 체계에서 벗어나는 중요한 실패 유형을 간과하는 경향이 있습니다. 예를 들어 일부 부분이 누락되거나 물리적으로 그럴듯하지 않은 구성(예: 공중에 떠 있는 물체)에서 비롯되는 전역적 비일관성이 이에 해당합니다. 또한 프롬프트의 난이도는 일반적으로 프롬프트 길이 또는 생성할 요소의 수라는 단일 차원을 따라서만 통제됩니다. 이러한 한계를 해결하기 위해, 우리는 T2I 모델이 구성적(compositional) 자연어 지시를 시각적 출력으로 얼마나 잘 그라운딩하는지 평가하도록 설계된 통제형 벤치마크 Imag-Eval을 제안합니다. 표면적인 언어적 복잡성과 구성적 난이도를 혼동하는 기존 연구와 달리, Imag-Eval은 인스턴스의 수와 제약 조건(규칙)의 조합을 독립적으로 변화시키고 오류 전파를 피함으로써 이 두 요인을 명시적으로 분리하고자 합니다. 이러한 설계를 통해 교차 모달 지시 수행이 어디에서 실패하는지를 세밀하고 해석 가능하게 분석할 수 있습니다. 우리의 벤치마크는 1,140개의 프롬프트와 8,842개의 결합 규칙으로 구성되며, 여러 최신(state-of-the-art) 모델을 대상으로 평가를 수행합니다. 동시대 벤치마크의 2,000개가 넘는 프롬프트에 대한 추가 연구로 이 분석을 보완한 결과, 구조화된 스킬의 경우 구성적 난이도는 프롬프트 길이만이 아니라 주로 그라운딩되어야 하는 규칙의 수와 그 규칙들이 인스턴스에 결합(binding)되는 방식에 의해 좌우된다는 점을 시사합니다.

원문 초록

Text-to-Image (T2I) models have recently achieved impressive visual fidelity, yet their evaluation remains constrained by benchmarks that are often difficult to interpret and insufficiently diagnostic. Existing skill-based evaluations tend to overlook critical failure modes that strongly impact usability but fall outside standard taxonomies, such as global incoherence arising from missing parts or physically implausible configurations (e.g., floating objects). In addition, prompt difficulty is typically controlled along a single dimension; either prompt length or the number of elements to generate. To address these limitations, we introduce Imag-Eval, a controlled benchmark designed to assess how T2I models ground compositional natural-language instructions into visual outputs. Unlike prior work that conflates surface linguistic complexity with compositional difficulty, Imag-Eval explicitly seeks to disentangles these factors by independently varying both the number of instances and the combination of constraints (rules), while avoiding error propagation. This design enables fine-grained and interpretable analysis of where cross-modal instruction following fails. Our benchmark comprises 1,140 prompts and 8,842 combined rules, and we evaluate it on several state-of-the-art models. Complementing this analysis with an additional study of over 2,000 prompts from a concurrent benchmark, our results suggest that, for structured skills, compositional difficulty is primarily governed by the number of grounded rules and their binding to instances,, rather than by prompt length alone.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.29210v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.