무엇에서 어느 것으로: 고정된 MLLM에서 수식어 그라운딩 디코딩하기
From What to Which: Decoding Modifier Grounding in Frozen MLLMs
한국어 초록
멀티모달 대규모 언어 모델(MLLM)이 점차 복잡한 시각적 장면을 기술할 수 있게 됨에 따라 토큰(token) 수준의 그라운딩(grounding)이 매우 중요해지고 있습니다. 그러나 MLLM이 "왼쪽에 있는 노란 바나나(the yellow banana on the left)"를 생성할 때 기존의 그라운딩 접근법은 이미지에 무엇이 있는지("바나나")에만 집중하며, 어떤 인스턴스를 의미하는지 설명하는 데 도움이 되는 토큰("노란", "왼쪽")은 간과합니다. 본 연구에서는 고정된(frozen) MLLM 표현이 속성, 공간적 표현, 관계/행동 용어와 같은 수식어에 이르기까지 생성된 토큰 전반에서 지칭된 인스턴스에 대해 디코딩 가능한 그라운딩 정보를 포함하고 있는지 질문을 던집니다. 이 질문을 다루기 위해 우리는 최적 수송(Optimal Transport, OT)을 활용하여 생성된 토큰을 시각적 영역과 정렬하고 조밀한 그라운딩 맵을 생성하는, 고정된 MLLM 표현 기반의 경량 지도 프로브(probe)인 OTTER를 소개합니다. 실험 결과에 따르면 (i) 수식어 토큰에서 인스턴스 식별이 가능한 시각적 정보를 디코딩할 수 있으며 공간적 용어에서 가장 명확한 증거가 나타났지만, (ii) 이에 국한되지 않고 문맥화된 객체 명사 역시 지칭 정보를 전달합니다. (iii) 복원된 그라운딩은 문맥 섭동(perturbation) 하에서도 유용한 정보를 유지하는 반면 선택된 영역은 생성과 관련된 상태를 유지하며, (iv) 학습된 OT 기반 그라운딩은 통제된 설정을 넘어 자유 생성 및 교차 데이터셋(dataset) 전이로 확장됩니다.
원문 초록
As Multimodal Large Language Models (MLLMs) can describe increasingly complex visual scenes, token-level grounding becomes crucial. Yet, when an MLLM generates "the yellow banana on the left", established grounding approaches focus on what is in the image ("banana"), overlooking tokens that help describe which instance is meant ("yellow", "left"). In this work, we ask whether frozen MLLM representations contain decodable grounding information about the referred instance across generated tokens, extending to modifiers such as attributes, spatial expressions, and relational/action terms. To address this question, we introduce OTTER, a lightweight supervised probe over frozen MLLM representations that uses Optimal Transport (OT) to align generated tokens with visual regions and produce compact grounding maps. Our results show that (i) instance-discriminative visual information can be decoded from modifier tokens, with the clearest evidence for spatial terms, but (ii) is not confined to them, as contextualized object nouns also carry referential information; (iii) the recovered grounding remains informative under context perturbations, while selected regions remain relevant to generation; and (iv) the learned OT-based grounding extends beyond the controlled setting to free generation and cross-dataset transfer.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.