arXiv:2610.02265v1 eess.IV

이벤트 기반 뉴럴 비디오 압축

Event-guided Neural Video Compression

Jiyun Kong, Jungwoo Kim, Enes Eray Demirtas, Touradj Ebrahimi, Jong-Seok Lee

제출 2026-10-01

저자 비고

arXiv Comments

28 pages. 21 figures

한국어 초록

뉴럴 비디오 코덱은 주로 RGB 프레임에서 모션 및 시간적 문맥을 도출하므로, 상호 보완적인 시간적 관측 정보를 통한 교차 모달 유도(cross-modal guidance)의 여지가 남아 있습니다. 이벤트 스트림은 프레임 간의 밝기 변화를 기록하여 이러한 관측 정보를 제공할 수 있습니다. 본 연구에서는 인코더와 디코더가 공유하는 이벤트를 활용하여 RGB 압축 효율을 향상시키는 이벤트 기반 뉴럴 비디오 코덱(ENVC)을 제안합니다. 모션 코딩을 위해 ENVC는 이벤트 기반 모션 사전 확률(motion prior)을 형성하고 잔여 모션 잔차(motion residual)를 코딩합니다. 프레임 코딩의 경우, 이벤트 조건부 예측기(event-conditioned predictor)가 게이트 기반 시간적 문맥 개선을 위한 다중 스케일 특징을 제공합니다. 표준 비디오 데이터셋에서의 학습(training) 및 평가(evaluation)를 지원하기 위해 합성된 쌍체 RGB-이벤트 데이터를 생성하고, 실제 이벤트와의 비교를 통해 해당 데이터의 예측 유용성을 평가합니다. 6개 벤치마크에 걸쳐 ENVC는 DCMVC 대비 PSNR-RGB 기준 39.13%, LPIPS 기준 67.63%의 평균 BD-rate 절감을 달성합니다. 추가 분석을 통해 이러한 성능 향상이 모션이 큰 시퀀스에서도 지속되며, ENVC가 이벤트 정보를 효과적으로 통합하도록 학습함을 보여줍니다. 이러한 결과는 RGB 코딩 레이트를 낮추기 위한 상호 보완적 모달리티로서 이벤트의 잠재력을 입증합니다. 본 연구의 모델과 코드는 https://github.com/kjungwoo03/ENVC 에서 확인할 수 있습니다.

원문 초록

Neural video codecs derive motion and temporal contexts mainly from RGB frames, leaving room for cross-modal guidance from complementary temporal observations. Event streams can provide such observations by recording brightness changes between frames. In this work, we propose an Event-guided Neural Video Codec (ENVC) that uses events shared by the encoder and decoder to improve RGB compression efficiency. For motion coding, ENVC forms an event-guided motion prior and codes the remaining motion residual. For frame coding, an event-conditioned predictor supplies multi-scale features for gated temporal context refinement. To support training and evaluation on standard video datasets, we synthesize paired RGB-event data and assess its predictive utility through comparisons with real events. Across six benchmarks, ENVC achieves average BD-rate savings of 39.13% using PSNR-RGB and 67.63% using LPIPS relative to DCMVC. Further analyses show that our gains persist on large-motion sequences and that ENVC effectively learns to integrate event information. These results demonstrate the potential of events as a complementary modality for reducing the RGB coding rate. Our model and code are available at https://github.com/kjungwoo03/ENVC.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02265v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14305v1cs.CV공통 태그 Video Compression, neural video codec

DCVC-MB: 상태 공간 모델을 이용한 신경 B-프레임 비디오 압축

DCVC-MB: Neural B-Frame Video Compression using State Space Models

본 논문에서는 B-프레임 코딩을 위한 신경 비디오 코덱 프레임워크인 DCVC-Mamba(DCVC-MB)를 제안한다. 우리 접근법은 저지연 B-프레임 코딩을 위한 IBP 프레임 전략, 양방향 시간적 예측을 위한 상태 공간 모델(state-space models) 기반 시공간 융합 모델, 그리고 엔트로피 코딩 시간을 줄이기 위해 특정 잠재 변수(latent)의 코딩을 선택적으로 생략하는 엔트로피 인식 건너뛰기 메커니즘을 포함한다. 모델 기여 외에도 압축 성능을 향상시키는 두 가지 추론 시점 전략도 구현한다. 실험 평가 결과 DCVC-MB는 기존 신경 비디오 코덱(NVC) 및 전통적인 코덱 대비 우수한 성능을 보인다. 해당 방법은 기존 신경 비디오 코덱 대비 평균 최대 8.98%의 BD-rate 감소를, VTM-19.0-LDP 및 VTM-19.0-RA(Inter-GoP=16) 벤치마크 대비 각각 최대 30.45% 및 1.81%의 개선을 보여, 신경 비디오 압축의 발전에 기여한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.