이벤트 기반 뉴럴 비디오 압축
Event-guided Neural Video Compression
뉴럴 비디오 코덱은 주로 RGB 프레임에서 모션 및 시간적 문맥을 도출하므로, 상호 보완적인 시간적 관측 정보를 통한 교차 모달 유도(cross-modal guidance)의 여지가 남아 있습니다. 이벤트 스트림은 프레임 간의 밝기 변화를 기록하여 이러한 관측 정보를 제공할 수 있습니다. 본 연구에서는 인코더와 디코더가 공유하는 이벤트를 활용하여 RGB 압축 효율을 향상시키는 이벤트 기반 뉴럴 비디오 코덱(ENVC)을 제안합니다. 모션 코딩을 위해 ENVC는 이벤트 기반 모션 사전 확률(motion prior)을 형성하고 잔여 모션 잔차(motion residual)를 코딩합니다. 프레임 코딩의 경우, 이벤트 조건부 예측기(event-conditioned predictor)가 게이트 기반 시간적 문맥 개선을 위한 다중 스케일 특징을 제공합니다. 표준 비디오 데이터셋에서의 학습(training) 및 평가(evaluation)를 지원하기 위해 합성된 쌍체 RGB-이벤트 데이터를 생성하고, 실제 이벤트와의 비교를 통해 해당 데이터의 예측 유용성을 평가합니다. 6개 벤치마크에 걸쳐 ENVC는 DCMVC 대비 PSNR-RGB 기준 39.13%, LPIPS 기준 67.63%의 평균 BD-rate 절감을 달성합니다. 추가 분석을 통해 이러한 성능 향상이 모션이 큰 시퀀스에서도 지속되며, ENVC가 이벤트 정보를 효과적으로 통합하도록 학습함을 보여줍니다. 이러한 결과는 RGB 코딩 레이트를 낮추기 위한 상호 보완적 모달리티로서 이벤트의 잠재력을 입증합니다. 본 연구의 모델과 코드는 https://github.com/kjungwoo03/ENVC 에서 확인할 수 있습니다.