PyTorchKR Papers

최신 논문

총 181편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24282v1cs.CV

UniRED: 이벤트 가이던스를 활용한 통합 RGB-D 비디오 프레임 보간

UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance

고프레임률 RGB-D 비디오는 동작 분석, 동적 장면 이해, 3D 재구성 등 다양한 다운스트림 태스크에 필수적이다. 그러나 하드웨어 및 센싱의 제약으로 인해 실용적인 RGB-D 카메라는 일반적으로 낮은 프레임률로 제한되어 빠른 장면 역학을 포착하기 어렵다. 기존 비디오 보간 방법들은 RGB 데이터에서 강력한 성능을 달성했지만, RGB-D 시나리오에는 곧바로 적용하기 어려우며, 경계 흐림, 가시적 아티팩트, 기하학적 일관성 저하 등의 문제를 자주 야기한다. 더욱이 복잡한 동적 장면에서 두 경계 프레임만으로 동작을 추정하는 것은 본질적으로 제약이 부족한 문제이다. 반면 이벤트 카메라는 초고시간 해상도의 비동기 측정을 제공하여 밀도 높은 동작 단서를 제공한다. 본 논문에서는 RGB 외관, 깊이 기하, 이벤트 기반 시간적 단서를 공동으로 활용하는 RGB-D 비디오 보간을 위한 통합 멀티모달 프레임워크를 제안한다. 구체적으로, 먼저 RGB, 깊이 및 이벤트 단서를 추출하고 융합한 후, RGB에 대한 모션 기저 정제와 깊이에 대한 Z축 정제를 통해 양방향 플로우를 추정하고, 마지막으로 양방향 와핑과 소프트 블렌딩을 통해 목표 RGB-D 프레임을 합성한다. 또한, 세 가지 모달리티 학습 데이터의 부족을 해소하기 위해 새로운 RGB-D-Event 데이터셋을 구축한다. 공개 벤치마크와 제안된 데이터셋에 대한 광범위한 실험을 통해, 본 방법이 기존 접근법 대비 RGB 보간에서 우수한 측광 충실도와 깊이 보간에서 더 강력한 기하학적 정확도를 달성함을 입증한다.