TerraVis: MLLM 워크플로우를 통한 텍스트-투-이미지 생성의 실세계 기반 시각적 일관성 평가를 향하여
TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows
최근 텍스트-투-이미지(text-to-image) 모델은 사실성(photorealism), 심미성, 텍스트-이미지 정렬(alignment) 측면에서 상당한 발전을 이루었습니다. 그러나 시각적으로 매력적인 이미지라 하더라도 기형적인 객체 구조, 불가능한 해부학적 형태, 물리적으로 타당하지 않은 상호작용, 일관되지 않은 공간 관계를 보이며 실세계의 개연성(plausibility)을 위반할 수 있습니다. 이러한 오류는 기존의 충실도(fidelity), 심미성, 선호도 또는 정렬 지표로는 잘 포착되지 않습니다. 이러한 격차를 해결하기 위해, 본 연구에서는 생성된 이미지의 실세계 기반(world-grounded) 시각적 일관성을 평가하는 프레임워크인 TerraVis를 소개합니다. TerraVis는 객체, 상호작용 및 장면 수준의 오류를 포괄하는 실세계 일관성 위반에 대한 체계적인 분류 체계(taxonomy)를 정의하며, 이를 식별하고 정량화하기 위해 다단계 평가 프레임워크를 사용합니다. 이미지가 주어지면, TerraVis는 먼저 멀티모달 대규모 언어 모델(MLLM)을 사용하여 평가 적격성을 판단한 다음, 분류 체계에 정의된 18가지 유형에 걸쳐 위반 사항을 탐지하고 이를 경미(minor) 또는 중대(major)로 분류하여 전반적인 실세계 일관성 점수를 도출합니다. 널리 사용되는 두 가지 벤치마크에서 다양한 오픈소스 및 상용 텍스트-투-이미지 모델을 대상으로 평가한 결과, TerraVis는 기존 지표 중 실세계 일관성에 대한 인간의 판단과 가장 강력한 상관관계를 달성했습니다. 또한 벤치마크 결과는 기존 지표에서 우수한 성능을 보이는 모델이라도 상당한 실세계 일관성 오류를 나타낼 수 있음을 보여줍니다. 이러한 결과는 실세계 일관성이 상호보완적인 평가 차원임을 강조하며, TerraVis가 이러한 오류의 체계적인 정량화, 진단 및 비교를 가능하게 함을 입증합니다. 본 연구의 코드는 https://github.com/ShyFoo/TerraVis 에서 공개되어 있습니다.