arXiv:2608.04750v1 cs.CV

텍스트-이미지 모델의 직유 이해: 평가 프레임워크

Simile Understanding in Text-to-Image Models: An Evaluation Framework

Luecheng Wang, Shintaro Ozaki, Hidetaka Kamigaito, Katsuhiko Hayashi, Jingun Kwon, Manabu Okumura, Taro Watanabe

제출 2026-08-05

한국어 초록

직유는 텍스트 프롬프트(prompt)에서 시각적 특성을 간결하고 표현력 있게 묘사하는 방법을 제공합니다. 최근의 텍스트-이미지 모델(t2i 모델)은 직유 프롬프트로부터 시각적으로 매력적인 결과물을 생성할 수 있지만, 프론티어 모델조차도 비유적 보조관념(metaphorical vehicle)을 잘못 해석하고 이를 대상과 혼동하는 경우가 빈번합니다. 이러한 체계적인 실패는 t2i 모델에서 비유적 언어와 객체 수준 시각적 그라운딩(grounding) 간의 격차를 드러냅니다. 이 문제를 조사하기 위해, 본 논문에서는 직유 이해를 위한 확장 가능한 평가(evaluation) 프레임워크를 제안합니다. 제안하는 프레임워크는 (1) 객체 탐지가 가능한 사전 정의된 범주 세트에서 보조관념을 추출하여 다양한 템플릿과 결합한 통제된 직유 데이터셋, (2) YOLO(You Only Look Once) 탐지 기반의 자동 그라운딩 지표, (3) 생성 과정에서 보조관념이 어떻게 발현되는지 추적하기 위해 Diffusion Lens를 활용한 텍스트 인코더 층(layer) 분석을 포함합니다. 구조적으로 다양한 t2i 모델에 걸친 실험을 통해 일관된 문자 그대로의 해석(literalization) 실패 패턴을 확인했습니다. 나아가 t2i 모델에서 직유 그라운딩을 개선하기 위한 잠재적인 완화 전략을 논의합니다.

원문 초록

Similes provide a compact and expressive way to describe visual characteristics in text prompts. Recent text-to-image models (t2i models) can produce visually compelling outputs from simile prompts, yet even frontier models frequently misinterpret the metaphorical vehicle and confuse it with the object. These systematic failures reveal a gap between figurative language and object-level visual grounding in t2i models. To investigate this issue, we propose a scalable evaluation framework for simile understanding. Our framework includes (1) a controlled simile dataset in which metaphorical vehicles are drawn from a predefined set of object-detectable categories and combined with diverse templates, (2) automatic grounding metrics based on YOLO (You Only Look Once) detection, and (3) text encoder layer analysis using Diffusion Lens to track how metaphorical vehicles emerge during generation. Experiments across architecturally diverse t2i models reveal consistent literalization failure patterns. We further discuss potential mitigation strategies for improving simile grounding in t2i models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.04750v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.