MinCU: 이미지 쌍에서의 그라운딩 기반 미세 변화 이해를 위한 세밀한 벤치마크
MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs
거의 동일한 이미지 간의 세밀한 차이를 위치 특정하고 서술하는 것은 멀티모달 대규모 언어 모델(MLLM)에 중요하지만 아직 충분히 연구되지 않은 역량입니다. 기존 벤치마크는 대체로 충실한 서술과 물리적 위치 특정을 동시에 요구하지 않은 채, 의미론적 비교나 단일 이미지 그라운딩(grounding)을 개별적으로 평가합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 그라운딩 기반의 미세 변화 이해를 위한 벤치마크인 MinCU를 소개합니다. MinCU의 각 샘플은 객체 범주, 속성, 개수 또는 공간적 위치에서 단 하나의 원자적 변화만 나타나는 이미지 쌍으로 구성되며, 모델은 변화 서술, 변경된 영역의 위치 특정, 변경된 개체 식별 능력을 평가받습니다. 나아가 본 논문에서는 예측을 '생각-위치 특정-서술(Think-Locate-Describe)' 시퀀스로 분해하는 구조화된 자기회귀 방식인 Semantic-Guided Implicit Spatial Anchors(SG-ISA)를 제안합니다. SG-ISA는 먼저 변경된 개념에 대한 의미론적 단서를 예측한 후, 이산 공간 앵커를 암묵적 위치 특정 스캐폴드로 활용하며, 최종적으로 그라운딩 박스와 함께 변화 서술을 생성합니다. 실험 결과, 가장 강력한 폐쇄형 MLLM과 최근의 R1 스타일 추론 모델조차 MinCU에서 어려움을 겪으며, 대부분 정확한 서술과 그라운딩 박스를 동시에 생성하는 데 실패하는 것으로 나타났습니다. 이전 사고의 연쇄(Chain-of-Thought) 방식과 비교했을 때, SG-ISA를 통한 미세조정은 추론 토큰 오버헤드를 약 26% 줄이면서도 그라운딩 정확도와 서술 품질 모두에서 상당한 공동 향상을 이끌어냈습니다. 이러한 결과는 그라운딩 기반의 듀얼 이미지 이해에서 모델 규모에만 의존하는 것보다 암묵적인 중간 공간 인터페이스가 더 효과적일 수 있음을 시사합니다.