VGGT와 같은 피드포워드 3D 비전 모델은 단일 패스로 카메라 추정과 조밀한 장면 재구성을 통합하며 괄목할 만한 진전을 이루었습니다. 그러나 이들의 2차 복잡도(quadratic) 전역 어텐션(attention)은 긴 이미지 시퀀스를 처리할 때 큰 비용을 초래하며, 기존 희소화 기법들은 어텐션 점수는 높지만 값(value) 측면에서는 중복적인 영역을 선호하는 경향이 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 값 인식 블록 선택과 실행 인식 교차 층(cross-layer) 메모리를 결합한 무학습(training-free) 희소 어텐션 기법인 VASC를 제안합니다. 제안하는 값 인식 블록 선택은 풀링된 쿼리-키(query-key) 관련성과 인접 값 대비(contrast)를 통합하여 쿼리 관련성이 높고 독특한 콘텐츠를 보존하면서도 중복성을 줄입니다. 교차 층 메모리는 층 전반에서 충족되지 않은 요구를 추적하고 실제 실행에 따라 이 상태를 업데이트하여, 이전에 제대로 처리되지 못한 블록들이 고정된 계산 예산 내에서 경쟁할 수 있도록 지원합니다. VGGT 및 $\pi^3$를 활용하여 7Scenes 및 NeuralRGB-D에서 진행한 실험에 따르면, FasterVGGT 대비 향상된 포즈 추정 및 재구성 품질을 보여주었으며, 조밀한(dense) VGGT 대비 최대 2.29배 빠른 추론(inference) 속도를 달성했습니다. 코드는 https://github.com/kosakayamahoo-design/VASC 에서 확인할 수 있습니다.
최근 3차원 재구성(3D reconstruction) 분야는 장면별 최적화(per-scene optimization) 방식에서 피드포워드 추론(feed-forward inference) 방식으로 발전해 왔으며, 의미론적 장면 이해(semantic scene understanding) 또한 이러한 흐름을 따라왔다. 그러나 기존 방법들은 여전히 객체 중심 인식(object-centric perception)에 국한되어 있어 객체 간의 공간적 관계(spatial relation)를 간과하고 있다. 본 연구에서는 피드포워드 방식이면서 포즈 정보가 필요 없는(pose-free) 멀티뷰(multi-view) 환경에서 3차원 공간 관계 분할(3D spatial relation segmentation) 문제를 정식화한다: 시각적으로 지정된 주체(subject)와 관계를 나타내는 텍스트 질의(relational text query)가 주어졌을 때, 모델은 대상의 범주명(category name)을 입력받지 않고도 여러 뷰에 걸쳐 해당 대상을 분할한다. 이를 위해 우리는 RelationVGGT를 제안한다. 이는 시각 파운데이션 모델(visual foundation model)의 의미론적 특징(semantic feature)과 3차원 기하 파운데이션 모델(3D geometry foundation model)의 기하 인지 표현(geometry-aware representation)을 통합하고, 관계 트랜스포머(relation transformer)를 활용하여 주체 조건부(subject-conditioned) 교차 뷰(cross-view) 관계 예측을 수행하는 새로운 피드포워드 프레임워크이며, 장면별 최적화나 알려진 카메라 포즈(camera pose)를 필요로 하지 않는다. 또한 우리는 VLM과 LLM을 활용하여 ScanNet++ 기반의 완전 자동화된 주석(annotation) 파이프라인을 제공함으로써, 이 새로운 과제(task)에 대한 확장 가능한 학습 데이터 생성을 가능하게 한다.
단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.
최근 Visual Geometry Grounded Transformer(VGGT)와 같은 순전파(feed-forward) 시각 기하 모델이 다시점(multi-view) 이미지로부터 직접 3D 재구성을 가능하게 하였다. 유망한 성능에도 불구하고, 이러한 모델은 전역 어텐션(global attention) 메커니즘으로 인해 입력 뷰 수에 대해 이차적으로 스케일링되어, 긴 시퀀스 입력에서 상당한 지연(latency)을 초래한다. VGGT 가속을 위한 최근 연구들이 있으나, 주로 토큰 병합(token merging)이나 key/value 희소화(sparsification)를 통해 토큰 중복(token redundancy)을 줄이는 데 초점을 맞춘다. 본 연구는 시각 기하 트랜스포머의 구조적 중복(architectural redundancy)을 조사함으로써 다른 관점에서 이 병목을 해결한다. VGGT의 전역-어텐션 레이어에 있는 multi-head 어텐션 모듈에 상당한 구조적 중복이 있으며, 일부 헤드(head)만이 핵심 기하 정보를 담고 있음을 보인다. 이에 따라 VGGT-Prime을 제안한다. VGGT-Prime은 연산 적응형 mixture-of-heads 모델로, 구조적 중복을 제거하여 시각 기하 트랜스포머를 가속하면서도 경쟁력 있는 재구성 품질을 유지한다. VGGT-Prime의 핵심 아이디어는 경량 라우터(router)로 각 전역-어텐션 헤드에 적절한 연산 수준을 추정한 뒤, 각 헤드를 서로 다른 연산 모드에 동적으로 할당하는 것이다. 여러 데이터셋에 대한 광범위한 실험에서 VGGT-Prime이 VGGT 대비 8× 추론 가속을 달성하면서 카메라 포즈, 깊이, 포인트 클라우드 예측에서 경쟁력 있는 성능을 유지함을 보여준다. 또한 VGGT-Prime이 토큰 병합과 같은 기존 가속 방법과 상보적(complementary)이며, VGGT 대비 최대 14×까지 추론 속도를 더 향상시킴을 보인다. 본 연구 개요는 https://vggt-prime.github.io 프로젝트 페이지에서 확인할 수 있다.
3D 재구성과 로봇 위치 추정에서 공동 가시성(co-visibility)은 근본적인 과제로, 특히 중복이 최소한인 시나리오에서 어느 이미지 쌍이 겹치는 가시 표면을 공유하는지를 결정하는 문제다. 우리는 VGGT가 공동 가시성을 창발적(emergent) 동작으로 암묵적으로 인코딩한다는 것을 입증한다. 즉, 이 작업에 대한 어떠한 지도학습 없이도 VGGT의 내부 표현은 대규모 언어 모델(LLM)의 계층 구조를 반영하는 명확한 계층적 구조를 나타낸다. 구체적으로, 초기 층은 3D 인식 장면 표현을 구축하고, 후기 층은 전용 공동 가시성 추론기 역할을 한다. 특히, 우리는 L17 층이 평가 설정과 무관하게 이 백본에서 비공동-가시 쌍을 일관되게 라우팅하는 부정적 앵커(negative anchor)임을 확인하였으며, 이는 기하학적 파운데이션 모델에서 층 특화(layer specialization)에 대한 태스크 기반 증거를 제공한다. 이를 바탕으로 우리는 Co-VGGT를 소개한다. Co-VGGT는 VGGT를 동결(freeze)하고 RGB만으로 공동 가시성을 분류하기 위해 경량화된 층별 전문가 혼합(MoE) 헤드(700만 파라미터 미만)만을 학습시키며, 각 층을 입력 쌍별로 기하학적 추상화가 적응적으로 가중되는 전문화된 전문가로 취급한다. Co-VisiON 벤치마크에서 Co-VGGT는 인간 어노테이션 기준선을 능가하고, 쌍별 비교에서 25% 이상, 다중 뷰에서 10% 이상 기존 연구 대비 성능을 향상시킨다. 쌍별 예측은 잘 보정되어 있어(ECE=0.030), 사후 보정 없이 다운스트림 SfM 및 SLAM 파이프라인의 가시성 그래프에서 에지 가중치로 직접 활용할 수 있다. 코드와 데이터는 공개되어 있다.