arXiv:2610.03439v1 cs.CV

이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법

Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation

Daikun Liu, Teng Wang, Changyin Sun

제출 2026-10-02

저자 비고

arXiv Comments

14 pages, 13 figures, conference

한국어 초록

이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.

원문 초록

Event cameras hold excellent dynamic properties, showing great potential for monocular depth estimation (MDE). However, existing methods mainly improve performance by optimizing contextual features, but still struggle with the ill-posed and nonlinear nature of direct full-depth regression. In this paper, we propose HypoDepth, the first event-image monocular depth iterative refinement framework. By introducing a discrete Depth Hypothesis Volume (DHV), we transform the depth regression problem into a constrained depth search task. Specifically, we construct a 3D cost volume between the DHV features and contextual features and perform a multi-scale correlation search to guide stable residual optimization. This lightweight cost volume enables efficient global-to-local refinement across multi-resolution. Our method outperforms existing approaches on DSEC and MVSEC with state-of-the-art results and strong zero-shot generalization. Meanwhile, our tiny model achieves an excellent balance between accuracy and efficiency, enabling real-time performance on resource-limited devices.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03439v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25803v2cs.CV공통 태그 Depth Estimation, event camera

LiFR v2: 고속률 고밀도 예측을 위한 완성 보강 이벤트 전파

LiFR v2: Completion-Augmented Event Propagation for High-Rate Dense Prediction

동적 환경에서의 고속률 고밀도 인지는 프레임 사이에 급격한 장면 변화가 일어날 수 있어 RGB 카메라의 낮은 갱신률에 의해 제한된다. 이벤트 카메라는 공간적으로 밀집한 RGB 관측과 상보적인, 시간적으로는 밀집하지만 공간적으로는 희소한 측정을 제공한다. 직접 융합은 이러한 상보성을 완전히 활용할 수 없으며, 이벤트 기반 전파는 유효한 RGB 지원이 없는 새로 등장하거나 가려짐 해제(disocclusion)된 영역에서는 실패한다. 우리는 RGB 키프레임과 이벤트로부터 인과적 anytime 및 스트리밍 고밀도 예측을 위한 통합 전파-완성-메모리 프레임워크인 LiFR v2를 제안한다. LiFR v2는 전파가 지원되지 않는 곳에서 과제 관련 표현을 복구하는 Event-Guided Completion Module(EGCM)과 연속 쿼리에 걸쳐 완성된 표현을 재사용하는 History Retrieval Module(HRM)을 도입한다. 이 프레임워크는 의미 분할(semantic segmentation), 단안 깊이 추정, 다중 과제 고밀도 예측을 지원하며, 급격한 객체 출현(emergence)과 가려짐 해제를 평가하기 위해 SHF-Emerge를 추가로 도입한다. LiFR v2는 DSEC에서 74.37% mIoU, SHF-Emerge에서 56.13%를 달성하며, 후자에서 LiFR-Seg 대비 1.85 percentage point 향상을 보였고, 전파 기준선 대비 SHF-Emerge 깊이 RMSE를 1.564 m에서 1.118 m로 낮췄다. 또한 분할과 깊이 모두에서 100 FPS를 초과하여 RGB 프레임률을 넘어서는 정확하고 효율적인 고속률 인지를 보여준다.

arXiv:2606.24282v1cs.CV공통 태그 Depth Estimation, event camera

UniRED: 이벤트 가이던스를 활용한 통합 RGB-D 비디오 프레임 보간

UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance

고프레임률 RGB-D 비디오는 동작 분석, 동적 장면 이해, 3D 재구성 등 다양한 다운스트림 태스크에 필수적이다. 그러나 하드웨어 및 센싱의 제약으로 인해 실용적인 RGB-D 카메라는 일반적으로 낮은 프레임률로 제한되어 빠른 장면 역학을 포착하기 어렵다. 기존 비디오 보간 방법들은 RGB 데이터에서 강력한 성능을 달성했지만, RGB-D 시나리오에는 곧바로 적용하기 어려우며, 경계 흐림, 가시적 아티팩트, 기하학적 일관성 저하 등의 문제를 자주 야기한다. 더욱이 복잡한 동적 장면에서 두 경계 프레임만으로 동작을 추정하는 것은 본질적으로 제약이 부족한 문제이다. 반면 이벤트 카메라는 초고시간 해상도의 비동기 측정을 제공하여 밀도 높은 동작 단서를 제공한다. 본 논문에서는 RGB 외관, 깊이 기하, 이벤트 기반 시간적 단서를 공동으로 활용하는 RGB-D 비디오 보간을 위한 통합 멀티모달 프레임워크를 제안한다. 구체적으로, 먼저 RGB, 깊이 및 이벤트 단서를 추출하고 융합한 후, RGB에 대한 모션 기저 정제와 깊이에 대한 Z축 정제를 통해 양방향 플로우를 추정하고, 마지막으로 양방향 와핑과 소프트 블렌딩을 통해 목표 RGB-D 프레임을 합성한다. 또한, 세 가지 모달리티 학습 데이터의 부족을 해소하기 위해 새로운 RGB-D-Event 데이터셋을 구축한다. 공개 벤치마크와 제안된 데이터셋에 대한 광범위한 실험을 통해, 본 방법이 기존 접근법 대비 RGB 보간에서 우수한 측광 충실도와 깊이 보간에서 더 강력한 기하학적 정확도를 달성함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.