모바일 로봇이 일상 환경에 점차 융합됨에 따라, 탑재된 온보드 카메라로 인해 발생하는 프라이버시 위험이 커지는 우려로 부각되고 있습니다. 초저해상도(ULR) RGB는 원천적으로 시각적 프라이버시 노출을 완화할 수 있으나, ULR 외형 정보만으로는 의미론적 및 공간적 이해가 크게 제한됩니다. 이에 따라 본 논문에서는 고해상도(HR) depth와 ULR RGB를 결합하여 세밀한 시각 정보는 제한하면서도 조밀한 기하학적 구조는 보존하는 프라이버시 보존형 비대칭 센싱 설정을 도입합니다. HR depth와 ULR RGB 간의 극심한 정보 불균형을 해결하기 위해, HR 기하학 정보를 활용하여 시맨틱 지향적 RGB 재구성 및 RGB-D 세그멘테이션을 유도하는 결합형 2D 프레임워크를 제안합니다. 신뢰성 높은 프레임 단위 예측에도 불구하고, 비대칭 HR depth-ULR RGB 설정에서는 일관된 씬(scene) 수준의 이해가 여전히 어렵습니다. 이에 따라 3D 세그멘테이션을 위해 2D 시맨틱 특징을 통합하는 엔드투엔드(end-to-end) 2D-to-3D 파이프라인을 개발합니다. ScanNet 기반 실험 결과, 제안하는 방법은 프라이버시 보존 접근법 중 최고의 2D 및 3D 세그멘테이션 성능을 달성하며 SUN RGB-D 및 SceneNN에 대해 가장 강력한 제로샷(zero-shot) 전이 성능을 보여줍니다. 프라이버시 복구 가능성 분석을 통해 제안된 HR depth-ULR RGB 입력이 민감한 데이터의 복구 가능성을 낮춤을 확인하였으며, 실제 로봇 실험을 통해 생성된 3D 시맨틱이 객체 목표 내비게이션(object-goal navigation)에 유용함을 입증합니다.
개방 어휘 3D 분할(open-vocabulary 3D segmentation)은 자유 형식 텍스트 질의로 객체를 위치시키지만, 실제 이미지 시퀀스에서는 여전히 어렵다. 불완전하거나 노이즈가 있는 2D 지도(supervision)는 다시점 정체성 할당을 불안정하게 하고, 전 장면 의미 학습은 객체 수준 판별력을 약화시킨다. 본 논문은 객체 연관과 언어 정렬 의미를 공동으로 모델링하는 통합 3D 표현인 Hybrid Gaussians를 제안한다. Multi-View Object Association 메커니즘은 Observation Fusion과 Semantic Contrastive Learning을 결합하여 정체성 일관성과 의미적 판별력을 높인다. Boundary Reconstruction Optimization은 지역 경계 구조를 추가로 정제하여 윤곽 품질을 개선한다. LERF와 3D-OVS에서의 실험은 강한 정량·정성 성능을 보여준다. 본 방법은 LERF에서 59.1% mIoU를 달성하여 기준선 대비 13.4% 상대 향상을 얻는다. 프로젝트 페이지: https://nora202.github.io/hybridgaussians.
대화형 딥 이미지 분할은 양성 및 음성 클릭과 같은 사용자 프롬프트로부터 예측을 반복적으로 정제함으로써 효율적인 의료 영상 주석을 가능하게 한다. 최근 패치 기반 방법들(nnInteractive 포함)은 강력한 분할 성능을 달성하지만, 높은 상호작용 지연, 연속적인 상호작용에 대한 제한된 반응성, 되돌릴 수 있는 프롬프팅 지원 부재로 인해 주석 워크플로에서 여전히 한계가 있다. 또한 평가는 통제된 실제 사용자 상호작용 연구보다는 주로 시뮬레이션에 의존한다. 우리는 이미지 인코딩과 프롬프트 기반 정제를 분리하는 대화형 3D 의료 영상 분할을 위한 end-to-end 학습 가능 프레임워크인 SLIP을 제안한다. 이미지 특징은 한 번 계산되어 재사용되며, 경량 패치 메모리 뱅크가 패치 간 공유되는 상호작용 인식 분할 상태를 유지한다. 이 표현은 이미지 전체에 상호작용 컨텍스트를 전파하여 예측을 업데이트하고, 이미지 특징을 재계산하지 않고도 되돌릴 수 있는 프롬프팅을 지원하며, 상호작용 지연을 크게 줄인다. 이미지 표현과 대화형 추론을 분리함으로써 SLIP은 다양한 이미지 인코더와 호환된다. 우리는 다양한 해부학적 구조와 영상 방식에 걸친 일반적인 대화형 분할을 위해 단일 SLIP 모델을 학습한다. 표준 시뮬레이션 평가를 넘어, 세 가지 임상 주석 작업, 여섯 명의 전문가 참가자, 주관적 사용성 측정에 걸쳐 수동 분할, nnInteractive, SLIP을 비교하는 통제된 전향적 사용자 연구를 수행하여 대화형 분할 방법의 제한된 인간 검증 문제를 다룬다. SLIP은 13개 공개 데이터셋에서 SOTA 대화형 분할 성능을 달성하는 동시에, 기존 접근법 대비 더 낮은 상호작용 지연, 더 큰 반응성, 되돌릴 수 있는 프롬프팅 지원, 더 높은 사용자 선호도를 제공한다.
모호한 3D 의료 이미지 분할에서 전문가 간 경계 불일치를 모델링할 때 기존 확산 모델이 전체 마스크를 비구조적 노이즈로부터 생성해 위상 불일치가 발생하는 문제를 해결하기 위해, VDD(Volumetric Directional Diffusion)는 결정론적 분할 예측을 해부학적 앵커로 삼아 잔차 경계 영역에서만 방향성 확산을 수행하는 프레임워크를 제안한다. LIDC-IDRI, KiTS21, ISBI 2015 세 가지 다중 평가자 데이터셋 실험에서 VDD는 경쟁력 있는 분할 정확도와 3D 구조적 일관성을 유지하면서 불확실성 분포 정렬(GED, CI 기준)을 개선하였다.
Automatic tooth segmentation and identification from intra-oral scanned 3D models are fundamental problems in digital dentistry, yet most existing approaches rely on task-specific 3D neural networks trained with densely annotated datasets, resulting in high annotation cost and limited generalization to scans from unseen sources. Thus, we propose TSegAgent, which addresses these challenges by reformulating dental analysis as a zero-shot geometric reasoning problem rather than a purely data-driven recognition task. The key idea is to combine the representational capacity of general-purpose foundation models with explicit geometric inductive biases derived from dental anatomy. Instead of learning dental-specific features, the proposed framework leverages multi-view visual abstraction and geometry-grounded reasoning to infer tooth instances and identities without task-specific training. By explicitly encoding structural constraints such as dental arch organization and volumetric relationships, the method reduces uncertainty in ambiguous cases and mitigates overfitting to particular shape distributions. Experimental results demonstrate that this reasoning-oriented formulation enables accurate and reliable tooth segmentation and identification with low computational and annotation cost, while exhibiting strong generalization across diverse and previously unseen dental scans.