3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.
최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.
참조 수술 비디오 기구 세그멘테이션(RSVIS)은 텍스트 설명이 주어졌을 때 수술 비디오 내의 기구를 세그멘테이션하는 것을 목표로 한다. 최근의 진전에도 불구하고 현재 모델들은 상대적으로 소규모인 벤치마크에서 학습(training) 및 평가되고 있어, 보다 일반적인 RSVIS의 발전을 저해하고 있다. 또한 기존 벤치마크는 비디오 내의 기구 하나를 지칭하는 단일 타깃 표현만을 지원하고 다중 타깃 및 무타깃 참조 표현을 간과하여, 실제 시나리오에서 RSVIS의 적용 가능성을 제한한다. 이러한 문제를 해결하기 위해, 우리는 보다 강건하고 일반적인 RSVIS를 촉진하는 것을 목표로 하는 새로운 벤치마크인 LD-RSVIS를 제안한다. 구체적으로 LD-RSVIS는 109만 개의 프레임이 포함된 3,536개의 수술 비디오로 구성되며, 25가지 다양한 수술 절차에서 추출된 30개의 광범위한 기구 클래스 세트를 다룬다. 풍부한 비디오와 클래스를 포함함으로써, LD-RSVIS는 보다 일반적인 RSVIS 방법의 대규모 학습 및 평가에 기여할 수 있다. 아울러 기존 데이터셋과 달리 LD-RSVIS는 무타깃, 단일 타깃, 다중 타깃 표현을 포함하는 다양한 참조 설정을 제공하여, 실제 응용 분야에서 보다 실용적인 RSVIS 모델을 개발할 수 있도록 한다. 고품질 주석을 보장하기 위해 LD-RSVIS의 모든 비디오는 여러 차례의 검수와 정제 과정을 거쳐 수작업으로 라벨링되었다. 우리가 아는 한, LD-RSVIS는 RSVIS를 위한 가장 크고 다채로운 벤치마크이다. LD-RSVIS를 분석하고 향후 연구를 위한 비교 기준을 제공하기 위해 12가지 대표적인 방법을 평가하였으며, 그 결과 추가적인 성능 향상을 위해 더 많은 노력이 필요함이 드러났다. 향후 연구를 장려하기 위해, 우리는 상호보완적인 다중 단서 텍스트 정보를 활용하여 타깃 특화 단서를 먼저 발굴한 다음, 이러한 단서와 텍스트 정보를 세그멘테이션에 활용하여 유망한 성능을 달성하는 Cascade-RSVIS라는 단순하면서도 효과적인 RSVIS 방법을 제시한다. 우리의 벤치마크와 코드는 공개될 예정이다.
기존 지시 세그멘테이션(referring segmentation) 접근법 대부분은 미세조정이나 여러 사전학습 모델의 조합을 통해서만 강한 성능을 내며, 종종 추가 학습과 아키텍처 변경이라는 비용을 수반한다. 한편 대규모 생성형 확산(diffusion) 모델은 풍부한 의미 정보를 담고 있어 범용 특징 추출기로 매력적이다. 본 연구에서는 다운스트림 과제를 위해 확산 트랜스포머의 특징(어텐션 점수)을 직접 활용하는 새로운 방법을 제안하며, 아키텍처 변경이나 추가 학습이 필요 없다. 이러한 특징을 체계적으로 평가하기 위해 이미지와 동영상을 아우르는 비전-언어 그라운딩 과제로 벤치마크를 확장한다. 핵심 통찰은 불용어(stop word)가 어텐션 자석(attention magnet)처럼 작용한다는 점이다: 불용어는 과잉 어텐션을 끌어모으며, 이를 걸러 노이즈를 줄일 수 있다. 더 나아가 더 깊은 층에서 나타나는 전역 어텐션 싱크(global attention sink, GAS)를 확인하고, 이를 안전하게 억제하거나 보조 토큰으로 재배향하면 더 선명하고 정확한 그라운딩 맵을 얻을 수 있음을 보인다. 또한 어텐션 재분배 전략을 제안하는데, 덧붙인 불용어가 배경 활성을 더 작은 클러스터로 나누어 더 선명하고 국소적인 히트맵을 만든다. 이러한 발견을 바탕으로 교차-어텐션 맵, GAS 처리, 재분배를 결합한 단순한 무학습(training-free) 그라운딩 프레임워크 RefAM을 구축한다. 제로샷 지시 이미지·동영상 세그멘테이션 벤치마크 전반에서 본 접근법은 강한 성능을 보이며 대부분의 데이터셋에서 이전 방법을 능가하고, 과제별 학습이나 아키텍처 변경 없이 무학습 방법 가운데 새로운 최고 수준을 달성한다. 동영상의 경우, 비디오 확산 트랜스포머의 시공간 특징으로부터 지시 대상(referent)을 국소화하며, 첫 프레임 쿼리를 전파(propagate)하는 방식을 쓰므로 시간적(which-frame) 표현을 명시적으로 해석하지는 않는다.
Identifying and grounding precise geometric entities, such as edges, planar regions, and curved surfaces within 3D objects, is foundational to computer-aided design (CAD), robotic manipulation, and scientific simulation. Although modern Vision Language Models (VLMs) have advanced referring segmentation (RIS) in the image domain, extending such language-driven localization to structured 3D geometry is substantially harder. The 3D object appearance is highly sensitive to viewpoints; a single perspective may render a target entity clearly observable, while another may suffer from severe occlusion or foreshortening. In this work, we attempt to solve these challenges with MV-GEL (Multi-View Geometric Entity Localization), a framework for localizing fine-grained geometric entities on polygon meshes from natural language queries. Our key insight is that reliable CAD entity (i.e., faces, edges or solids) localization depends on selecting views that make the queried entity maximally interpretable. We introduce GELviews, a prompt-conditioned ranking module that prioritizes viewpoints based on language prompted observability of geometric CAD entities. Selected views are processed by a VLM-based reasoning segmentation backbone, and predicted masks are lifted to the corresponding meshes via geometry-aware ray casting. Our framework is completely CAD agnostic and relies only on 3D meshes. Experiments show up to a 1.7X improvement in face-level IoU and over 4.5X gains in edge-level F1 compared to vanilla baselines, substantially outperforming CLIP-based and random view sampling, particularly for thin and view-sensitive structures. The dataset, code and trained checkpoints are available at https://github.com/kbali1297/MV-GEL.
언어 유도 항공 인식(perception)은 복잡한 무인항공기(UAV) 장면에서 사용자가 지정한 미세 타깃을 이해하는 것을 목표로 한다. 실제 UAV 배치에서는 UAV가 비행 중에 응답해야 하므로, 이러한 인식은 온라인 스트리밍 방식으로 수행되며, 프레임이 순차적으로 도착하고 모델은 미래 프레임에 접근하지 않은 채 각 프레임에 응답한다. 그러나 현재의 멀티모달 대규모 언어 모델(MLLM)을 이 설정에 적용하면 두 가지 과제가 발생한다. 첫째, 공중에서 본 타깃은 종종 매우 작지만, 기존 MLLM의 시각적 압축은 모든 영역을 동등하게 처리하여 미세한 세부 정보를 버린다. 둘째, 연속 스트림을 이해하려면 과거 프레임의 문맥이 필요하지만, 자원이 제한된 온보드 하드웨어에서는 전체 이력을 유지하는 것이 불가능하며, 이를 버리면 타깃이 표류하거나 사라진다. 우리는 데이터와 방법 관점 모두에서 미세 객체 및 스트리밍 과제를 해결한다. 데이터 관점에서, 우리는 미세 항공 타깃을 위한 최초의 픽셀 수준 개방 어휘(open-vocabulary) 참조 분할(referring-segmentation) 데이터셋인 DroneEyes를 제시하며, Object Description 및 Referring Expression 과제에 걸쳐 2,140개의 고화질 비디오와 176,623개의 쌍, 그리고 프레임별 밀집 마스크를 포함한다. 방법 관점에서, 우리는 위 과제에 대한 두 가지 설계를 갖춘 MLLM인 SkyAnchor를 제안한다: 축소된 시각 토큰 예산 하에서 소형 타깃을 보존하는 Semantics-Aware Token Router와 스트림에서 타깃을 일관되게 이해하도록 유지하는 Hierarchical Memory Bank.
내시경 영상에서 자연어 기반 참조 이미지 분할(RIS)을 위한 대규모 벤치마크 ReferEndoscopy(65,964장 이미지, 1,452,330개 이미지-마스크-지시문 트리플렛)를 구축하고, 속성 검색 기반 AR-ERIS 프레임워크를 제안하여 개방형 어휘 내시경 합성 참조 분할에서 최고 수준의 성능과 미관측 도메인 일반화를 달성했다.
GEAR-Seg는 복잡하고 암묵적인 쿼리 기반의 추론 분할(reasoning segmentation) 문제에서 기존 엔드-투-엔드 모델의 불투명한 블랙박스 구조를 탈피하여, SAM 2 기반 클래스 무관 분할, DAM 기반 밀도 높은 의미론적 설명, LLM 기반 논리 추론을 명시적으로 분리한 에이전트 프레임워크를 제안한다. 제로샷 추론에서 경쟁력 있는 성능을 달성하는 동시에, 이 프레임워크를 데이터 엔진으로 활용해 38k 이미지와 656k QA-마스크 쌍으로 구성된 GEAR-131K 벤치마크를 자동 구축하고, 지식 증류를 통해 경량 모델이 인간 주석 기반 상한 성능에 근접함을 입증했다.
다중모달 대규모 언어 모델(MLLM)이 추론과 지각을 동시에 수행하면서 발생하는 부정확한 위치 파악 문제를 해결하기 위해, PixelEyes는 추론기와 전문 지각 도구(SAMTok)를 분리하여 마스크 정밀 지역화와 의미 영역 너비 우선 탐색(BFS)을 결합한 다중 턴 시각 추론 에이전트를 제안한다. PixelEyes-6K 데이터셋으로 학습된 이 모델은 V*, HR-Bench, Pinpoint-Bench 등 다양한 시각 탐색 벤치마크에서 기존 방법 대비 더 적은 턴으로 최고 성능을 달성했다.
의료 교육 환경에서 단일 대화 방식의 한계를 극복하기 위해, 멀티라운드 엔티티 수준 의료 추론 세그멘테이션(MEMR-Seg) 태스크와 177K 규모의 MR-MedSeg 데이터셋을 제안하고, 이를 위한 베이스라인 모델 MediRound를 구축했다. 멀티라운드 추론 과정에서 발생하는 오류 누적 문제를 완화하기 위해 경량의 Judgment Correction Mechanism을 도입하여 기존 의료 참조 세그멘테이션 방법 대비 우수한 성능을 달성했다.