arXiv:2610.02343v1 cs.CV

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

Chaoyi Zhou, Zhongpai Gao, Anwesa Choudhuri, Meng Zheng, Benjamin Planche, Run Wang, Terrence Chen, Siyu Huang, Ziyan Wu

제출 2026-10-01

저자 비고

arXiv Comments

Project page: https://chaoyizh.github.io/SCOPE-4D-page/

한국어 초록

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

원문 초록

Geometric understanding supports endoscopic navigation and robotic assistance, but learning reliable endoscopic geometry faces two challenges: scarce geometric annotations and ambiguity between camera motion and tissue deformation. We present SCOPE-4D, an endoscopic 4D geometry foundation model that jointly predicts camera parameters, dense geometry, and 3D tissue trajectories from monocular RGB video in a single forward pass. Our curation and annotation pipeline constructs SCOPE-5K, a collection of approximately 5,000 clips spanning real and synthetic gastrointestinal endoscopy and laparoscopy. The collection provides rich geometric supervision and includes newly collected phantom and real-colonoscopy evaluation sets. Geometric supervised fine-tuning on SCOPE-5K learns endoscopic priors that improve camera and depth estimation. Common--Residual Motion (CRM) further constrains local deformation relative to common tissue movement. Together with geometric supervision, CRM and trajectory supervision further improve camera and depth estimation over geometric fine-tuning alone while enabling dense 3D tissue tracking. Evaluations on public and newly collected benchmarks demonstrate strong in-domain and out-of-domain geometry, superior 3D tracking, and more stable long-sequence colon reconstruction. A blinded user study further supports the perceived reconstruction quality on real clinical video. Together, these results demonstrate the value of large-scale endoscopic supervision and motion constraints for joint geometry estimation and tissue tracking.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02343v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01286v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Depth Estimation, 4D reconstruction

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

arXiv:2609.23961v1cs.CV공통 태그 Pose Estimation, Medical Image Analysis, 3D Reconstruction, Depth Estimation

Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성

Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video

단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.

arXiv:2609.27227v1cs.CV공통 태그 Pose Estimation, Medical Image Analysis, Depth Estimation

학습된 관절 운동 제약을 이용한 단안 영상 기반 수술 운동학

Surgical Kinematics from Monocular Video with Learned Articulated Motion Constraints

로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.

arXiv:2609.23733v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Depth Estimation

VGGT-Prime: 효율적 Visual Geometry Transformer를 위한 연산 적응형 Mixture-of-Heads

VGGT-Prime: Compute-Adaptive Mixture-of-Heads for Efficient Visual Geometry Transformers

최근 Visual Geometry Grounded Transformer(VGGT)와 같은 순전파(feed-forward) 시각 기하 모델이 다시점(multi-view) 이미지로부터 직접 3D 재구성을 가능하게 하였다. 유망한 성능에도 불구하고, 이러한 모델은 전역 어텐션(global attention) 메커니즘으로 인해 입력 뷰 수에 대해 이차적으로 스케일링되어, 긴 시퀀스 입력에서 상당한 지연(latency)을 초래한다. VGGT 가속을 위한 최근 연구들이 있으나, 주로 토큰 병합(token merging)이나 key/value 희소화(sparsification)를 통해 토큰 중복(token redundancy)을 줄이는 데 초점을 맞춘다. 본 연구는 시각 기하 트랜스포머의 구조적 중복(architectural redundancy)을 조사함으로써 다른 관점에서 이 병목을 해결한다. VGGT의 전역-어텐션 레이어에 있는 multi-head 어텐션 모듈에 상당한 구조적 중복이 있으며, 일부 헤드(head)만이 핵심 기하 정보를 담고 있음을 보인다. 이에 따라 VGGT-Prime을 제안한다. VGGT-Prime은 연산 적응형 mixture-of-heads 모델로, 구조적 중복을 제거하여 시각 기하 트랜스포머를 가속하면서도 경쟁력 있는 재구성 품질을 유지한다. VGGT-Prime의 핵심 아이디어는 경량 라우터(router)로 각 전역-어텐션 헤드에 적절한 연산 수준을 추정한 뒤, 각 헤드를 서로 다른 연산 모드에 동적으로 할당하는 것이다. 여러 데이터셋에 대한 광범위한 실험에서 VGGT-Prime이 VGGT 대비 8× 추론 가속을 달성하면서 카메라 포즈, 깊이, 포인트 클라우드 예측에서 경쟁력 있는 성능을 유지함을 보여준다. 또한 VGGT-Prime이 토큰 병합과 같은 기존 가속 방법과 상보적(complementary)이며, VGGT 대비 최대 14×까지 추론 속도를 더 향상시킴을 보인다. 본 연구 개요는 https://vggt-prime.github.io 프로젝트 페이지에서 확인할 수 있다.

arXiv:2609.23796v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Depth Estimation

Mira-Scene: 생성형 3D 장면을 위한 픽셀 정렬 레이아웃

Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene

단일 이미지 기반 3D 객체 생성은 이제 고충실도(high-fidelity) 에셋을 생성할 수 있지만, 이들을 일관된 장면 레이아웃 내에 정확하게 배치하는 것은 여전히 미해결 과제로 남아 있습니다. 핵심적인 어려움은 객체 레이아웃을 표현하는 방식에 있습니다. 전체론적(holistic) 방식은 배치를 장면 수준의 생성 프로세스에 흡수시켜 객체 수준의 세부 표현을 희생합니다. 구성적(compositional) 방식은 기하학적 구조(geometry)와 레이아웃을 분리하여 객체 충실도를 보존하지만, 일반적으로 레이아웃을 희소하고 경계가 없는(unbounded) 포즈 변수로 매개변수화하므로 학습(training)하기 어렵고 희소한 장면 수준 지도하에서는 일반화 성능이 떨어집니다. 우리는 희소한 포즈 회귀를 조밀하고 유계된(bounded) 대응 관계 복원으로 대체하는 구성적 3D 장면 재구성 프레임워크인 Mira-Scene을 제시합니다. 그 핵심에는 가시적인 각 객체 픽셀을 객체의 유계된 표준 공간(canonical space) 내 표면 좌표로 매핑하는 픽셀 정렬 필드인 Canonical Coordinate Map(CCM)이 있습니다. 단안 기하학 추정에서 얻은 장면 공간 포인트 클라우드 맵(PCM)과 결합될 때, CCM은 강건한 기하학적 정렬(alignment)을 통해 객체 변환을 복원할 수 있는 조밀한 표준-장면 대응 관계를 유도합니다. CCM은 유계된 표준 공간에서 작동하기 때문에, 장면 수준의 레이아웃 주석 없이도 확장 가능한 객체 수준 3D 데이터로부터 학습할 수 있는 안정적인 예측 대상을 제공합니다. 나아가 Mira-Scene은 기하학-레이아웃 일관성을 촉진하기 위해 공유 어텐션(attention) 및 위치 인코딩을 갖춘 모달리티별 전문가 스트림을 사용하여 객체 기하학적 구조와 CCM을 공동으로 생성하는 멀티모달 디퓨전 트랜스포머(transformer)를 도입합니다. 실내, 실외, 합성 및 야생(in-the-wild) 장면에 대한 실험에 따르면, Mira-Scene은 제한된 오픈소스 학습 데이터를 사용하면서도 SAM3D 대비 3D-IoU에서 39.8%, 2D-IoU에서 16.5%의 상대적 향상을 달성하며 레이아웃 정확도 면에서 강력한 베이스라인들을 크게 능가함을 보여줍니다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Depth Estimation

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.