arXiv:2603.19684v3 cs.CV

TSegAgent: Zero-Shot Tooth Segmentation via Geometry-Aware Vision-Language Agents

Shaojie Zhuang, Lu Yin, Guangshun Wei, Yunpeng Li, Xilu Wang, Yuanfeng Zhou

제출 2026-03-20

원문 초록

Automatic tooth segmentation and identification from intra-oral scanned 3D models are fundamental problems in digital dentistry, yet most existing approaches rely on task-specific 3D neural networks trained with densely annotated datasets, resulting in high annotation cost and limited generalization to scans from unseen sources. Thus, we propose TSegAgent, which addresses these challenges by reformulating dental analysis as a zero-shot geometric reasoning problem rather than a purely data-driven recognition task. The key idea is to combine the representational capacity of general-purpose foundation models with explicit geometric inductive biases derived from dental anatomy. Instead of learning dental-specific features, the proposed framework leverages multi-view visual abstraction and geometry-grounded reasoning to infer tooth instances and identities without task-specific training. By explicitly encoding structural constraints such as dental arch organization and volumetric relationships, the method reduces uncertainty in ambiguous cases and mitigates overfitting to particular shape distributions. Experimental results demonstrate that this reasoning-oriented formulation enables accurate and reliable tooth segmentation and identification with low computational and annotation cost, while exhibiting strong generalization across diverse and previously unseen dental scans.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.19684v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01022v1cs.CV공통 태그 Instance Segmentation, Zero-Shot Learning

ASH를 통한 자동 비디오 어노테이션을 향하여: 제로샷 오픈 어휘 다중 객체 추적 및 분할

Towards Automatic Video Annotation with ASH: Zero-Shot Open-Vocabulary Multi-Object Tracking and Segmentation

메모리-어텐션(memory-attention) 기반 비디오 인스턴스 분할(VIS) 방식은 강력한 제로샷(zero-shot) 추적 능력을 입증했으나, 상당한 메모리 요구량으로 인해 짧은 비디오 클립에 국한되며 단일 프롬프트 추론(inference) 설계로 인해 다중 범주 오픈 어휘(open-vocabulary) 추적에 과도한 연산 비용이 발생한다. 본 연구는 임의 비디오의 완전 자동화된 추적 어노테이션을 향한 두 가지 기여를 제시한다. Generalized Presence Token(GPT)은 어떠한 학습(training)된 구성 요소도 수정하지 않고 가상 프롬프트 배치 처리를 통해 N개의 텍스트 프롬프트를 동시에 처리하도록 SAM3의 추론 파이프라인을 재구성하여 이미지 인코딩 비용을 O(N)에서 O(1)로 줄인다. Annotation and Segmentation Handler(ASH)는 데이터셋(dataset)별 추가 학습 없이도 IoU 기반 청크 간 동일성(identity) 매칭을 사용하는 중첩 시간 청크를 통해 메모리-어텐션 VIS 추적기를 임의 길이의 시퀀스로 확장한다. SAM3를 기반으로 구현된 결과 파이프라인인 SAM3-ASH는 완전한 제로샷 조건 하에서 MOTS20에서 최고 수준(state-of-the-art)의 HOTA를 달성하고 추가 7개 벤치마크 전반에 걸쳐 학습된 특화 모델들과 견줄만한 성능을 유지하면서도, 최대 GPU 메모리 소비량을 25GB 미만으로 유지하여 확장 가능하고 학습이 필요 없는(training-free) 자동 비디오 어노테이션을 위한 실용적인 기준선(baseline)을 정립한다.

arXiv:2609.28222v1cs.CV공통 태그 Instance Segmentation, vision-language

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2609.28360v1cs.CV공통 태그 Zero-Shot Learning, 3d segmentation

고해상도 Depth와 초저해상도 RGB를 활용한 프라이버시 보존 시맨틱 세그멘테이션

Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB

모바일 로봇이 일상 환경에 점차 융합됨에 따라, 탑재된 온보드 카메라로 인해 발생하는 프라이버시 위험이 커지는 우려로 부각되고 있습니다. 초저해상도(ULR) RGB는 원천적으로 시각적 프라이버시 노출을 완화할 수 있으나, ULR 외형 정보만으로는 의미론적 및 공간적 이해가 크게 제한됩니다. 이에 따라 본 논문에서는 고해상도(HR) depth와 ULR RGB를 결합하여 세밀한 시각 정보는 제한하면서도 조밀한 기하학적 구조는 보존하는 프라이버시 보존형 비대칭 센싱 설정을 도입합니다. HR depth와 ULR RGB 간의 극심한 정보 불균형을 해결하기 위해, HR 기하학 정보를 활용하여 시맨틱 지향적 RGB 재구성 및 RGB-D 세그멘테이션을 유도하는 결합형 2D 프레임워크를 제안합니다. 신뢰성 높은 프레임 단위 예측에도 불구하고, 비대칭 HR depth-ULR RGB 설정에서는 일관된 씬(scene) 수준의 이해가 여전히 어렵습니다. 이에 따라 3D 세그멘테이션을 위해 2D 시맨틱 특징을 통합하는 엔드투엔드(end-to-end) 2D-to-3D 파이프라인을 개발합니다. ScanNet 기반 실험 결과, 제안하는 방법은 프라이버시 보존 접근법 중 최고의 2D 및 3D 세그멘테이션 성능을 달성하며 SUN RGB-D 및 SceneNN에 대해 가장 강력한 제로샷(zero-shot) 전이 성능을 보여줍니다. 프라이버시 복구 가능성 분석을 통해 제안된 HR depth-ULR RGB 입력이 민감한 데이터의 복구 가능성을 낮춤을 확인하였으며, 실제 로봇 실험을 통해 생성된 3D 시맨틱이 객체 목표 내비게이션(object-goal navigation)에 유용함을 입증합니다.

arXiv:2609.07780v2cs.CV공통 태그 Zero-Shot Learning, vision-language

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2609.23019v1eess.IV공통 태그 Instance Segmentation, Medical Image Segmentation

SomaNet: 부분 주석 하 3D 전자현미경에서의 인스턴스 소마 분할을 위한 약지도 학습

SomaNet: Weakly Supervised Learning for Instance Soma Segmentation in 3D Electron Microscopy with Partial Annotations

소마 인스턴스 분할, 즉 개별 세포 소마를 서로 다른 인스턴스로 식별하고 경계를 구분하는 작업은 세포 분석과 커넥톰(connectome) 재구성에 필수적이다. 3차원 전자현미경(3D EM)은 나노미터 스케일 해상도로 세밀한 소마 형태를 포착할 수 있다. 그러나 밀집된 인스턴스 수준의 수동 주석은 비용이 지나치게 커서 완전 지도 방법의 확장성을 제한한다. 이 문제를 해결하기 위해, 부분 주석 제약 하에서 3D EM 소마 인스턴스 분할을 위한 약지도 프레임워크 SomaNet을 제안한다. SomaNet은 부분 레이블에 맞춘 교사-학생(teacher-student) 학습 패러다임을 채택한다. 교사는 부분적으로 주석된 데이터로 학습하여 의사 레이블(pseudo-label)을 생성하고, 학생은 부분 정답 주석과 생성된 의사 레이블로부터 공동 학습하여 점진적으로 밀집한 인스턴스 분할을 복원한다. 인스턴스 수가 다양한 제한적 감독 하에서 세포 소마를 정확히 구분하기 위해 SomaNet은 어피니티 학습(affinity learning)을 통합하여, 인스턴스 내부에서는 높은 유사도를, 인스턴스 경계를 넘어서는 경우에는 낮은 유사도를 유도한다. 의미 기반 어피니티 디코딩과 2D-to-3D 재구성을 통해 2D 백본의 넓은 수용 영역(receptive field)을 유지하면서 부피적으로 일관된 3D 소마 인스턴스를 생성한다. 이 프레임워크는 아키텍처에 유연하며 비전 트랜스포머(vision transformer)와 파운데이션 모델(foundation model)을 포함한 다양한 백본을 지원하여, 사전학습된 시각 표현을 부피 EM 분할로 직접 이전할 수 있게 한다. 3D EM 뇌 데이터셋에서의 실험은 SomaNet이 부분 주석 하에서 다양한 소마 형태를 가진 영역 전반에 걸쳐 정확하고 견고한 소마 인스턴스 분할을 달성함을 보여준다. 코드는 https://github.com/mkhateri/SomaNet 에서 이용할 수 있다.

arXiv:2609.23067v1cs.CV공통 태그 Instance Segmentation, Medical Image Segmentation

LD-RSVIS: 참조 수술 비디오 기구 세그멘테이션을 위한 대규모 다채로운 벤치마크

LD-RSVIS: A Large-Scale and Diverse Benchmark for Referring Surgical Video Instrument Segmentation

참조 수술 비디오 기구 세그멘테이션(RSVIS)은 텍스트 설명이 주어졌을 때 수술 비디오 내의 기구를 세그멘테이션하는 것을 목표로 한다. 최근의 진전에도 불구하고 현재 모델들은 상대적으로 소규모인 벤치마크에서 학습(training) 및 평가되고 있어, 보다 일반적인 RSVIS의 발전을 저해하고 있다. 또한 기존 벤치마크는 비디오 내의 기구 하나를 지칭하는 단일 타깃 표현만을 지원하고 다중 타깃 및 무타깃 참조 표현을 간과하여, 실제 시나리오에서 RSVIS의 적용 가능성을 제한한다. 이러한 문제를 해결하기 위해, 우리는 보다 강건하고 일반적인 RSVIS를 촉진하는 것을 목표로 하는 새로운 벤치마크인 LD-RSVIS를 제안한다. 구체적으로 LD-RSVIS는 109만 개의 프레임이 포함된 3,536개의 수술 비디오로 구성되며, 25가지 다양한 수술 절차에서 추출된 30개의 광범위한 기구 클래스 세트를 다룬다. 풍부한 비디오와 클래스를 포함함으로써, LD-RSVIS는 보다 일반적인 RSVIS 방법의 대규모 학습 및 평가에 기여할 수 있다. 아울러 기존 데이터셋과 달리 LD-RSVIS는 무타깃, 단일 타깃, 다중 타깃 표현을 포함하는 다양한 참조 설정을 제공하여, 실제 응용 분야에서 보다 실용적인 RSVIS 모델을 개발할 수 있도록 한다. 고품질 주석을 보장하기 위해 LD-RSVIS의 모든 비디오는 여러 차례의 검수와 정제 과정을 거쳐 수작업으로 라벨링되었다. 우리가 아는 한, LD-RSVIS는 RSVIS를 위한 가장 크고 다채로운 벤치마크이다. LD-RSVIS를 분석하고 향후 연구를 위한 비교 기준을 제공하기 위해 12가지 대표적인 방법을 평가하였으며, 그 결과 추가적인 성능 향상을 위해 더 많은 노력이 필요함이 드러났다. 향후 연구를 장려하기 위해, 우리는 상호보완적인 다중 단서 텍스트 정보를 활용하여 타깃 특화 단서를 먼저 발굴한 다음, 이러한 단서와 텍스트 정보를 세그멘테이션에 활용하여 유망한 성능을 달성하는 Cascade-RSVIS라는 단순하면서도 효과적인 RSVIS 방법을 제시한다. 우리의 벤치마크와 코드는 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.