PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.24407v1cs.CV

Mixture-of-Thought-Tokens: 자유 형식 다중모달 그라운딩을 위한 인식과 추론의 통합

Mixture-of-Thought-Tokens: Unifying Perception and Reasoning for Free-form Multimodal Grounding

다중모달 대규모 언어 모델(MLLM)은 그라운딩(grounding) 과제에서 큰 진전을 이루었지만, 기존 방법들은 여전히 정밀한 위치 지정(localization)과 복잡한 추론을 통합하는 데 어려움을 겪고 있다. 한편, 텍스트 기반 방법은 좌표 또는 인덱스 예측에 의존하여 밀집된 시각 객체에 대한 모델의 인식(perception) 능력을 크게 제한한다. 한편, 잠재 토큰 기반 방법은 고유한 공간적 참조가 없는 특수 토큰을 사용하고 사고 단계가 부족한 디코딩 메커니즘을 사용하여 고수준 추론 능력을 약화시킨다. 결과적으로, 인식과 추론 모두에서 뛰어난 통합 프레임워크를 개발하는 것은 여전히 어려운 과제로 남아 있다. 이를 해결하기 위해, 우리는 인식-추론 격차를 메우는 새로운 자유 형식 다중모달 그라운딩 방법인 Mixture-of-Thought-Tokens(Motto)를 제안한다. 이를 통해 MLLM이 다양하고 임의의 그라운딩 쿼리를 처리할 수 있게 한다. 구체적으로, 명확한 공간적 대응과 시각적 해석 가능성을 위해 특수 토큰을 공간 위치와 명시적으로 정렬하는 Spatially-Grounded Thought Tokenization을 도입한다. 또한 교차 배치된 추론 사슬 내에서 그라운딩 모드를 동적으로 전환하는 Context-Adaptive Chain-of-Tokens를 설계하여, 다양한 복잡도의 과제에서 강건한 그라운딩을 달성한다. 또한 인식-추론 격차를 평가하기 위한 새로운 지시 표현 이해(referring expression comprehension) 벤치마크인 PR-Bench를 구축한다. 광범위한 실험을 통해 Motto가 다양한 자유 형식 그라운딩 과제에서 최신(state-of-the-art) 성능을 달성함을 보여준다.