arXiv:2608.01473v1 cs.CV

Slot2Text: 효율적이고 공간 추적이 가능한 수술용 MLLM을 위한 객체 중심 시각 토큰화

Slot2Text: Object-Centric Visual Tokenization for Efficient and Spatially Traceable Surgical MLLMs

Guiqiu Liao, Matjaz Jogan, Daniel A. Hashimoto

제출 2026-08-02

한국어 초록

수술 장면 이해를 위한 멀티모달 대규모 언어 모델(MLLM)은 일반적으로 수백 개의 조밀한 시각 토큰(token)을 언어 모델에 주입하므로, 추론(inference) 비용이 많이 들고 생성된 답변에 대한 공간적 추적 가능성이 제한됩니다. 본 연구에서는 시각적 입력의 조밀한 표현을 슬롯 잠재 변수(slot latent)로 인코딩된 컴팩트한 영역 집합으로 대체하는 이중 모드 수술용 MLLM인 Slot2Text를 제시합니다. Slot2Text는 시각 인코더와 언어 간의 대조 정렬에 의존하는 대신, 자기지도 시각 특징을 몇 개의 영역, 즉 영역 레이블이 지정된 시각 토큰으로서 언어 모델에서 소비되는 슬롯으로 그룹화합니다. Slot2Text-Fast는 슬롯 접두 문맥(prefix)을 사용하여 수술 관련 질문에 답변합니다. Slot2Text-Reason은 추론에 관련된 영역을 식별 및 위치를 파악하여 언어 출력을 해당 슬롯 토큰, 마스크 또는 영역에 연결합니다. 여러 시각적 질의응답(VQA) 및 시각적 그라운딩(visual grounding) 벤치마크에 대한 실험 결과, Slot2Text-Fast는 훨씬 적은 비용으로 최고 수준(SOTA) 기준선(baseline) 모델들과 대등한 성능을 보이면서 평균 총 토큰 소비량을 91.8% 줄이고 시각 접두 문맥을 1,295개에서 47개 토큰으로 줄였습니다(96.4% 감소). Slot2Text-Reason은 추가적인 토큰 및 지연 시간과의 트레이드오프를 통해 명시적인 영역 식별, 위치, 그리고 추적 가능한 공간적 근거를 제공합니다. 이러한 결과는 컴팩트한 슬롯 잠재 변수를 수술용 MLLM의 효율적인 기본 시각 인터페이스로 확립하며, 더 높은 공간적 추적성이 필요할 때는 그라운디드 추론을 활용할 수 있음을 보여줍니다.

원문 초록

Multimodal large language models (MLLM) for surgical scene understanding typically inject hundreds of dense visual tokens into a language model, leading to costly inference and limited spatial traceability for generated answers. We present Slot2Text, a dual-mode surgical MLLM that replaces dense representations of visual input with a compact set of regions encoded as slot latents. Instead of relying on contrastive alignment of the visual encoder with language, Slot2Text groups self-supervised vision features into a few regions--slots that are consumed by the language model as area-labeled visual tokens. Slot2Text-Fast uses the slot prefix to answer surgical questions. Slot2Text-Reason also identifies and locates areas relevant for reasoning, linking language outputs to corresponding slot tokens, masks or regions. Experiments on multiple visual question answering and visual grounding benchmarks show that Slot2Text-Fast is competitive with state-of-the-art baseline at a much lower cost, reducing the average total token consumption by a 91.8\% and the visual prefix from 1,295 to 47 tokens (a 96.4\% reduction). Slot2Text-Reason trades additional tokens and latency for explicit area identities, locations, and traceable spatial evidence. These results establish compact slot latents as an efficient default visual interface for surgical MLLMs, with grounded reasoning invoked when greater spatial traceability is required.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.01473v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.