MLLM 시대에 돌출 객체 검출의 르네상스가 시작될 때인가?
Is It Time for the Renaissance of Salient Object Detection in the Era of MLLMs?
한국어 초록
멀티모달 대규모 언어 모델(MLLM)의 제로샷(zero-shot) 능력은 돌출 객체 검출(SOD)을 과제 특화형 지도학습을 넘어서는 단계로 끌어올리고 있습니다. 기존의 마스크 기반 평가를 넘어 MLLM을 면밀히 분석하기 위해, 본 연구에서는 SOD를 위치 파악(localization)과 분할(segmentation)로 분해하고 프레이즈(phrase), 바운딩 박스(box), 속성(attribute)을 기반으로 데이터셋을 재구성하여 MLLM의 돌출성 지각 능력을 진단하는 벤치마크인 SaliLLM을 구축합니다. SaliLLM은 주목할 만한 능력의 불일치를 드러냅니다. MLLM은 위치 파악에서는 최고 수준(SOTA) 방법론을 능가하지만, 분할에서는 여전히 현저하게 약한 모습을 보입니다. 추가 분석 결과, 이러한 격차는 주로 전경의 기수(cardinality), 세분성(granularity), 영역 범위(extent)에 대해 MLLM과 주석(annotation) 사이의 불일치에서 기인함을 확인했습니다. 이러한 진단에 착안하여, 우리는 제로샷 SOD를 프로토콜에 정렬된 전경 조직화(Foreground Organization)로 재구성하고, 게슈탈트(Gestalt)에서 영감을 얻은 협력적 어텐션을 활용하는 최초의 학습(training) 불필요 통합 SOD 프레임워크인 FOCUS를 제안합니다. FOCUS는 프로토콜 기반 전경 세분성에 대한 하향식 베이지안 서프라이즈(Bayesian-surprise) 캘리브레이션과, 자기지도 학습 특징으로 유도된 엔티티 중심 지각 매니폴드 상에서 MLLM 근거의 상향식 전파를 결합하여 일관된 객체 영역을 생성하고 이를 범용 분할기의 프롬프트로 활용합니다. 13개의 RGB, RGB-D, RGB-T SOD 벤치마크 전반에서 FOCUS는 추가 학습 없이도 기존 SOTA 방법론들을 대체로 능가하며, 완전 지도, 준지도, 자기지도 학습 방법론 대비 평균 절대 오차(MAE)를 각각 11%, 34%, 48% 줄였습니다. 본 연구의 발견은 SOD가 과제 특화형 지도학습에서 제로샷 전경 조직화로 나아가는 르네상스를 알립니다. 코드는 보충 자료에서 제공됩니다.
원문 초록
The zero-shot capabilities of multimodal large language models (MLLMs) are pushing salient object detection (SOD) beyond task-specific supervision. To disentangle MLLMs beyond conventional mask-based evaluation, we decompose SOD into localization and segmentation, and re-engineer datasets with phrases, boxes, and attributes, establishing a diagnostic benchmark for MLLM saliency perception (SaliLLM). SaliLLM uncovers a striking capability mismatch: MLLMs outperform state-of-the-art (SOTA) methods in localization, yet remain substantially weaker in segmentation. Further analyses attribute this gap primarily to mismatches between MLLMs and annotations over foreground cardinality, granularity, and extent. Motivated by this diagnosis, we recast zero-shot SOD as protocol-aligned Foreground Organization and introduce the first training-free framework that leverages Gestalt-inspired Collaborative attention for Unified SOD (FOCUS). FOCUS couples top-down Bayesian-surprise calibration of protocol-conditioned foreground granularity with bottom-up propagation of MLLMs evidence over entity-centric perceptual manifolds induced by self-supervised features, yielding coherent object extents as prompts for a general segmenter. Across 13 RGB, RGB-D, and RGB-T SOD benchmarks, FOCUS generally surpasses SOTA methods without training, reducing mean absolute error by 11\%, 34\%, and 48\% compared with fully, weakly, and self-supervised methods, respectively. Our findings signal the renaissance of SOD: from task-specific supervision to zero-shot foreground organization. Code is available in the supplementary material.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.29222v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.