arXiv:2205.14929

Neural Volumetric Object Selection

Zhongzheng Ren, Aseem Agarwala, Bryan Russell, Alexander G. Schwing, Oliver Wang

제출 2022-05-30

원문 초록

We introduce an approach for selecting objects in neural volumetric 3D representations, such as multi-plane images (MPI) and neural radiance fields (NeRF). Our approach takes a set of foreground and background 2D user scribbles in one view and automatically estimates a 3D segmentation of the desired object, which can be rendered into novel views. To achieve this result, we propose a novel voxel feature embedding that incorporates the neural volumetric 3D representation and multi-view image features from all input views. To evaluate our approach, we introduce a new dataset of human-provided segmentation masks for depicted objects in real-world multi-view scene captures. We show that our approach out-performs strong baselines, including 2D segmentation and 3D segmentation approaches adapted to our task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.01628v1cs.CV공통 태그 Segmentation, NeRF

가상 드론 발사를 통한 온라인 3D 가우시안 세그먼테이션

Online Segment 3D Gaussians via Launching Virtual Drones

3D 가우시안 스플래팅(3DGS)의 실시간 렌더링 능력 덕분에, 3D 가우시안의 인터랙티브 세그먼테이션은 3D 장면을 실시간으로 조작할 수 있는 매력적인 기회를 제공한다. 그러나 기존 방법들은 원시 3DGS 장면에서 인터랙티브 세그먼테이션을 시작하기 전에 일반적으로 수십 초에서 수 분이 소요되는 장면별 사전 설정 과정을 필요로 한다. 이 설정 과정에는 다시점 마스크 준비, 마스크 리프팅, 특징(feature) 증류가 포함되어 있어 온라인 애플리케이션의 주요 병목이 되고 있다. 이러한 한계를 해결하기 위해, 우리는 세그먼테이션 시간을 실용적인 수준(1초 이내)으로 유지하면서 인터랙티브 3DGS 세그먼테이션의 설정 단계를 완전히 제거하는 것을 목표로 한다. 본 연구에서는 인터랙티브 3DGS 세그먼테이션을 위한 새로운 설정 불필요 프레임워크인 SAGO(Segment Any Gaussians Online)를 제안한다. 가상 드론을 도입함으로써, 우리의 방법은 3D 세그먼테이션 문제를 마르코프 과정 내에서 정식화된 온라인 최적 다음 시점(Next-Best-View, NBV) 계획 태스크로 재구성한다. 광범위한 실험을 통해 SAGO가 1초 미만의 지연 시간으로 3D 가우시안에서 직접 깔끔한 3D 에셋을 추출할 수 있음을 입증하며, 이를 통해 객체 조작 및 장면 편집과 같은 광범위한 다운스트림 애플리케이션을 가능하게 한다. 또한 우리의 방법은 기존 설정 불필요 3DGS 세그먼테이션 프레임워크 대비 50배 이상의 속도 향상을 달성한다.

arXiv:2610.15929v1cs.CV공통 태그 Segmentation

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.