arXiv:2611.21302v1 cs.CV

Déjà-Events: 희소성을 고려한 적응형 게이팅을 활용하는 이벤트 카메라 기반 다중 시점 3D 기하 추정

D\'ej\`a-Events: Multi-view 3D Geometry with Event Cameras via Sparsity-Aware Adaptive Gating

Arda Cinar Demirtas, Pablo Varela Bernal, Marc Pollefeys, Sunghwan Hong

제출 2026-11-16

저자 비고

arXiv Comments

8 pages, 6 figures

한국어 초록

이벤트 카메라는 일반 카메라의 영상이 흐려지거나 포화되는 상황에서도 장면의 구조를 계속 포착하므로 빠르게 움직이거나 조명이 부족한 장면의 3D 인식에 유용하다. 그러나 조밀한 3D 참값을 갖춘 이벤트 데이터셋은 순방향 3D 재구성 모델의 기반이 되는 이미지 모음보다 규모가 작고 다양성이 낮다. 본 연구는 이벤트만으로 여러 시점에서 깊이, 카메라 자세, 포인트맵을 한 번의 순전파로 예측하는 Déjà-Events를 제시한다. 부족한 3D 레이블에 의존하는 대신, 하나의 공유 트랜스포머 블록을 반복 적용해 토큰을 다듬는 순방향 RGB 모델 Déjà View에서 지식을 증류한다. RGB와 이벤트 기록의 쌍을 사용해 이벤트 학생 모델이 가중치를 고정한 교사 모델의 최종 토큰을 재현하도록 학습한다. 이때 깊이와 자세의 참값은 필요하지 않으며, 학생 모델의 매개변수 중 약 1%만 학습한다. 이벤트는 가장자리와 움직이는 텍스처에 밀집하고 텍스처가 없는 영역에는 거의 없다. 따라서 공유 블록의 게이트를 이벤트 입력에 맞추고, 이벤트 밀도에 따라 패치별로 조절하는 희소성 인식 적응형 게이팅을 제안한다. 정제 단계를 추가해도 정확도를 유지할 수 있다. 시뮬레이션 데이터로만 학습한 Déjà-Events는 평가한 이벤트 기반 방법 중 EventScape에서, 그리고 실제 데이터셋 MVSEC와 DSEC의 제로샷 평가에서 포인트맵 오차가 가장 낮았다. DSEC에서는 가장 강한 기준선의 약 10분의 1에 해당하는 매개변수로 오차를 절반으로 줄였다(AbsRel 0.15 대 0.30). EventScape와 DSEC에서 깊이 오차도 가장 낮았고, EventScape에서 궤적 오차가 가장 낮았다.

원문 초록

Event cameras keep capturing structure where conventional cameras blur or saturate, which makes them attractive for 3D perception in fast or poorly lit scenes. Event datasets with dense 3D ground truth, however, are far smaller and less diverse than the image collections behind feed-forward 3D reconstruction models. We present D\'ej\`a-Events, an event-only model that predicts depth, camera pose and pointmaps from multiple views in a single forward pass. Rather than relying on scarce 3D labels, we distil it from D\'ej\`a View, a feed-forward RGB model that refines its tokens by repeatedly applying one shared transformer block. On paired RGB and event recordings, the event student learns to reproduce the frozen teacher's final tokens, which requires no depth or pose ground truth and trains only about 1% of its parameters. Because events are dense at edges and moving texture but nearly absent in textureless regions, we further introduce sparsity-aware adaptive gating, which adapts the shared block's gates to events and adjusts them per patch by event density, so that accuracy holds as refinement steps are added. Trained only on simulated data, D\'ej\`a-Events achieves the lowest pointmap error among the event-based methods we evaluate, on EventScape and zero-shot on the real MVSEC and DSEC datasets. On DSEC it halves the error of the strongest baseline (0.15 vs. 0.30 AbsRel) with about a tenth of its parameters. It also has the lowest depth error on EventScape and DSEC and the lowest trajectory error on EventScape.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21302v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.