멀티모달 대규모 언어 모델(MLLM)이 점차 복잡한 시각적 장면을 기술할 수 있게 됨에 따라 토큰(token) 수준의 그라운딩(grounding)이 매우 중요해지고 있습니다. 그러나 MLLM이 "왼쪽에 있는 노란 바나나(the yellow banana on the left)"를 생성할 때 기존의 그라운딩 접근법은 이미지에 무엇이 있는지("바나나")에만 집중하며, 어떤 인스턴스를 의미하는지 설명하는 데 도움이 되는 토큰("노란", "왼쪽")은 간과합니다. 본 연구에서는 고정된(frozen) MLLM 표현이 속성, 공간적 표현, 관계/행동 용어와 같은 수식어에 이르기까지 생성된 토큰 전반에서 지칭된 인스턴스에 대해 디코딩 가능한 그라운딩 정보를 포함하고 있는지 질문을 던집니다. 이 질문을 다루기 위해 우리는 최적 수송(Optimal Transport, OT)을 활용하여 생성된 토큰을 시각적 영역과 정렬하고 조밀한 그라운딩 맵을 생성하는, 고정된 MLLM 표현 기반의 경량 지도 프로브(probe)인 OTTER를 소개합니다. 실험 결과에 따르면 (i) 수식어 토큰에서 인스턴스 식별이 가능한 시각적 정보를 디코딩할 수 있으며 공간적 용어에서 가장 명확한 증거가 나타났지만, (ii) 이에 국한되지 않고 문맥화된 객체 명사 역시 지칭 정보를 전달합니다. (iii) 복원된 그라운딩은 문맥 섭동(perturbation) 하에서도 유용한 정보를 유지하는 반면 선택된 영역은 생성과 관련된 상태를 유지하며, (iv) 학습된 OT 기반 그라운딩은 통제된 설정을 넘어 자유 생성 및 교차 데이터셋(dataset) 전이로 확장됩니다.
생성 모델이 전례 없는 시각적 품질을 달성함에 따라, 이미지 평가의 표준 지표(gold standard)로는 여전히 전통적인 특징 분포 지표(예: FID)가 널리 사용되고 있습니다. 그러나 이러한 지표들은 구식 특징의 폐쇄 어휘(closed-vocabulary) 병목 현상과 경직된 매개변수 기반 공식화의 가정적 바이어스(assumptive bias)로 인해 한계를 보입니다. 최근의 대안들은 현대적인 백본을 활용하여 특징 병목 현상을 해결하고자 하지만, 여전히 매개변수적 한계에서 벗어나지 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 수학적으로 타당하며 가정이 필요 없는 유사도 측정 방식으로 슬라이스드 바서슈타인 거리(Sliced Wasserstein Distance)를 활용하는 새로운 평가 프레임워크인 APEX(Assumption-free Projection-based Embedding eXamination)를 소개합니다. 이론적 및 실증적 근거를 통해 증명하듯, APEX는 고차원 공간에 대한 효과적인 확장성을 지닙니다. 또한 APEX는 임베딩에 구애받지 않으며(embedding-agnostic), 두 가지 개방 어휘 파운데이션 모델인 CLIP과 DINOv2를 특징 추출기로 사용합니다. 기존 기준 모델들과 비교 벤치마킹한 결과, APEX는 시각적 품질 저하에 대해 우수한 강건성을 보여주었습니다. 나아가 우리는 APEX 지표가 데이터셋 내 및 데이터셋 간 안정성을 나타내어, 도메인 외(out-of-domain) 데이터셋에서도 매우 안정적인 평가를 보장함을 보여줍니다.