The Second Monocular Depth Estimation Challenge
원문 초록
This paper discusses the results for the second edition of the Monocular Depth Estimation Challenge (MDEC). This edition was open to methods using any form of supervision, including fully-supervised, self-supervised, multi-task or proxy depth. The challenge was based around the SYNS-Patches dataset, which features a wide diversity of environments with high-quality dense ground-truth. This includes complex natural environments, e.g. forests or fields, which are greatly underrepresented in current benchmarks. The challenge received eight unique submissions that outperformed the provided SotA baseline on any of the pointcloud- or image-based metrics. The top supervised submission improved relative F-Score by 27.62%, while the top self-supervised improved it by 16.61%. Supervised submissions generally leveraged large collections of datasets to improve data diversity. Self-supervised submissions instead updated the network architecture and pretrained backbones. These results represent a significant progress in the field, while highlighting avenues for future research, such as reducing interpolation artifacts at depth boundaries, improving self-supervised indoor performance and overall natural image accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
확장 가능한 VGGT를 위한 다양성 인식 뷰 분할
Diversity-aware View Partitioning for Scalable VGGT
VGGT와 같은 지오메트리 트랜스포머(Geometry Transformer)는 글로벌 어텐션을 통해 여러 뷰를 공동으로 추론함으로써 높은 성능을 달성한다. 그러나 어텐션의 이차(quadratic) 비용으로 인해 대규모 뷰 컬렉션으로의 확장은 여전히 어려운 과제이다. 더불어, 본 논문의 실험적 분석에 따르면 VGGT의 재구성 품질은 시점(viewpoint)의 분포에 민감하다. 충분한 시점 다양성 없이 단순히 뷰의 수를 늘리면, 중복된 뷰가 매우 유사한 토큰을 생성하여 어텐션 메커니즘 내의 정보성 있는 기하학적 신호를 희석시키고 오히려 성능이 저하될 수 있다. 이러한 관찰에 착안하여, 우리는 뷰를 다양성 인식 균형 청크(diversity-aware balanced chunk)로 구성하는 학습 불필요(training-free)하고 플러그 앤 플레이(plug-and-play) 방식의 VGGT 추론 프레임워크를 제안한다. 청크는 시각적 비유사성과 공간적 분산에 대한 조합적 그래프 분할(combinatorial graph partitioning)을 통해 구성된다. 이 뷰 구성 방식은 트랜스포머가 기하학적으로 유익한 뷰에 어텐션을 집중하면서 중복된 어텐션 상호작용을 줄일 수 있게 한다. 전체 포즈 추정 없이 공간적 분산을 추정하기 위해, 소수의 시드 프레임(seed frame)으로부터의 시각적 유사성에 기반한 소프트 포즈 전파(soft pose propagation) 전략을 통해 공간적 관계를 근사한다. 광범위한 실험을 통해 메모리 사용량과 추론 지연 시간을 줄이면서도 카메라 포즈 추정, 다중 뷰 깊이 예측, 3D 재구성에서 향상된 성능을 확인하였다. 또한 본 프레임워크는 기존 VGGT 변형 모델들과 상호 보완적으로 작동하여, 기하학적 충실도를 희생하지 않고 확장 가능한 다중 뷰 재구성을 가능하게 한다.
Uni-DVPS: Unified Model for Depth-Aware Video Panoptic Segmentation
Cross-modal transformers for infrared and visible image fusion
TransDSSL: Transformer based Depth Estimation via Self-Supervised Learning
Focal-WNet: An Architecture Unifying Convolution and Attention for Depth Estimation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.