극단적 복잡도·품질 스케일 전반의 향상된 신경 비디오 표현 압축
Enhanced Neural Video Representation Compression across Extreme Complexity and Quality Scales
암묵적 신경 표현(INR)은 최근 비디오 압축을 위한 유망한 접근법으로 등장하여, 빠른 디코딩과 함께 경쟁력 있는 레이트-왜곡(rate-distortion) 성능을 제공한다. 그러나 기존 신경 비디오 코덱은 복잡도와 확장성(scalability)의 균형을 맞추기 어렵다. 경량 모델은 서로 다른 비트레이트/품질 수준으로 스케일링할 때 압축 성능 저하를 겪는 경우가 많으며, 고성능 모델은 모델 복잡도가 일반적으로 품질에 따라 증가하기 때문에 확장성이 제한적이다. 다양한 비트레이트 전반에 걸쳐 일관된 복잡도를 유지할 수 있는 통합 아키텍처의 부재는 실제 다양한 배포를 심각하게 제한한다. 이러한 과제를 해결하기 위해, 저희는 다중 고해상도 특징 그리드를 활용하는 경량 INR을 사용하여 임의의 복잡도 수준에서 높은 확장성을 제공하는 새로운 INR 기반 비디오 코덱인 NVRC++를 제안한다. 이는 긴 비디오 시퀀스에 대해 고해상도 그리드에서 효율적인 과적합을 가능하게 하는 최적화 프레임워크와 결합되어, 과도한 계산 또는 메모리 오버헤드 없이 시공간 중복성을 활용한다. 또한 고차원 그리드 매개변수를 효율적으로 압축하기 위해 고급 엔트로피 모델을 설계했다. 그 결과 NVRC++는 네 가지 복잡도 수준(픽셀당 7kMACs부터 360kMACs까지)을 제공하며, 각 수준은 넓은 비트레이트 및 품질 범위를 포괄하면서 실시간 디코딩을 지원한다. 실험 결과 NVRC++는 SOTA INR 기반 비디오 코덱인 NVRC에 비해 최대 7.6배 빠른 디코딩 속도를 제공하면서도 유사한 성능을 달성함을 보여준다.