Residual-Guided Learning Representation for Self-Supervised Monocular Depth Estimation
원문 초록
Photometric consistency loss is one of the representative objective functions commonly used for self-supervised monocular depth estimation. However, this loss often causes unstable depth predictions in textureless or occluded regions due to incorrect guidance. Recent self-supervised learning approaches tackle this issue by utilizing feature representations explicitly learned from auto-encoders, expecting better discriminability than the input image. Despite the use of auto-encoded features, we observe that the method does not embed features as discriminative as auto-encoded features. In this paper, we propose residual guidance loss that enables the depth estimation network to embed the discriminative feature by transferring the discriminability of auto-encoded features. We conducted experiments on the KITTI benchmark and verified our method's superiority and orthogonality on other state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TransDSSL: Transformer based Depth Estimation via Self-Supervised Learning
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습
Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭
Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces
비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/
Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성
Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video
단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.
CMAMBADEPTH: 채널 맘바와 하이브리드 어텐션을 활용한 자기지도 단안 깊이 추정
CMAMBADEPTH: Self-supervised Monocular Depth Estimation with Channel Mamba and Hybrid Attention
정확한 단안 깊이 추정(monocular depth estimation)은 단일 카메라 장면 이해를 위한 핵심적인 조력자 역할을 합니다. 그러나 기존의 자기지도 단안 깊이 추정 방법들은 일반적으로 비효율적인 교차 스케일 정보 상호작용과 국소(local) 및 전역(global) 공간 모델링의 균형을 맞추기 어렵다는 병목 현상을 겪고 있습니다. 본 논문에서는 채널별 선택적 상태 전파를 통해 효율적인 다중 스케일 특징(feature) 융합과 세밀한 문맥 모델링을 달성하는 자기지도 프레임워크인 CMambaDepth를 제안합니다. 구체적으로, 양방향 채널 맘바(Bidirectional Channel Mamba, Bi-CMamba)는 스케일에 걸쳐 인코더 특징을 정렬하고 순서화된 스케일 그룹 간의 양방향 정보 교환을 가능하게 합니다. 단방향 채널 맘바(Unidirectional Channel Mamba, Uni-CMamba)는 디코더 특징을 점진적으로 집약하고 후속 융합을 위한 그룹 선택 메커니즘을 통해 세밀한 스케일 그룹을 유지합니다. 나아가, 상호보완적인 공간 모델링을 위해 대형 커널(kernel) 국소 문맥과 맨해튼 자기 어텐션(Manhattan self-attention)을 결합하는 하이브리드 어텐션 모듈(Hybrid Attention Module, HAM)을 도입합니다. 실험 결과는 본 제안 방법이 매우 경쟁력 있는 성능을 달성함을 입증합니다. 구체적으로, 본 모델(model)은 KITTI에서 0.094의 AbsRel과 4.156의 RMSE를 기록하고, DDAD에서 0.140의 AbsRel을 달성합니다. NYUv2에서의 제로샷(zero-shot) 교차 데이터셋(dataset) 일반화 테스트에서는 0.232의 AbsRel을 달성하여 기준선(baseline)인 RA-Depth보다 7.2% 향상된 성능을 보입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.