Prediction-assistant Frame Super-Resolution for Video Streaming
원문 초록
Video frame transmission delay is critical in real-time applications such as online video gaming, live show, etc. The receiving deadline of a new frame must catch up with the frame rendering time. Otherwise, the system will buffer a while, and the user will encounter a frozen screen, resulting in unsatisfactory user experiences. An effective approach is to transmit frames in lower-quality under poor bandwidth conditions, such as using scalable video coding. In this paper, we propose to enhance video quality using lossy frames in two situations. First, when current frames are too late to receive before rendering deadline (i.e., lost), we propose to use previously received high-resolution images to predict the future frames. Second, when the quality of the currently received frames is low~(i.e., lossy), we propose to use previously received high-resolution frames to enhance the low-quality current ones. For the first case, we propose a small yet effective video frame prediction network. For the second case, we improve the video prediction network to a video enhancement network to associate current frames as well as previous frames to restore high-quality images. Extensive experimental results demonstrate that our method performs favorably against state-of-the-art algorithms in the lossy video streaming environment.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RTFVE: 실시간 얼굴 비디오 향상
RTFVE: Realtime Face Video Enhancement
화상 회의 애플리케이션은 개인 및 업무 용도 모두에서 채택이 급증하고 있다. 그러나 전 세계 많은 사용자들이 직면한 대역폭 제한으로 인해 이러한 애플리케이션의 최적 활용이 저해될 수 있다. 심층 학습(deep learning)은 저비트레이트 비디오를 향상시키는 솔루션을 제공하지만, 오늘날 대부분의 모델은 최신 압축 표준과 통합하기 어렵거나 고성능 GPU와 같은 특수 하드웨어를 필요로 하여 실용성이 낮다. 이러한 문제를 해결하기 위해, 임의의 비디오 디코더와 손쉽게 통합할 수 있고 일반 CPU에서 실시간으로 실행 가능한 실시간 얼굴 비디오 향상(RTFVE) 모델을 제안한다. 실험 결과, 본 모델은 여러 저비트레이트 설정에서 압축 비디오 기준선 대비 지각적 품질을 향상시키는 것으로 나타났다. 소스 코드는 https://github.com/varun-jois/RTFVE에서 공개될 예정이다.
FSFVE: 퓨샷 압축 얼굴 비디오 향상
FSFVE: Few Shot Compressed Face Video Enhancement
화상통화(videocalling)는 오늘날 전 세계적으로 널리 사용되는 통신 수단이 되었으며, 많은 기업들이 무료 서비스를 제공하고 있다. 그러나 대역폭 제한으로 인해 여전히 전 세계 수백만 명이 낮은 품질의 화상통화를 경험하고 있다. 이는 대부분의 사람들이 필요한 하드웨어를 갖추고 있음에도 불구하고 발생하는 문제이다. 본 논문에서는 고도로 압축된 화상통화를 향상시키기 위한 새로운 프레임워크를 제안한다. 단 10프레임의 얼굴 영상만으로도 100초 이내에 신속하게 모델을 학습시켜 해당 화상통화 인스턴스를 향상시킬 수 있음을 보인다. 모델은 통화 전 또는 통화 중에 학습될 수 있으며, 더 나은 품질의 영상을 생성하여 이후 통화를 향상시킨다. 화상회의 애플리케이션을 수정할 필요가 없으며, 기성(off-the-shelf) 제품을 그대로 사용하되 빠르게 학습한 후 화상회의 애플리케이션(예: Zoom)이 평소대로 실행되도록 하는 상위 층(layer)으로 우리 시스템을 적용할 수 있다. 우리 시스템은 영상이 화면에 표시되기 전에 이를 가로채어 개선한다. 모델은 일반적인 노트북 CPU와 같은 저성능 기기에서 실시간으로 실행되도록 설계되었다. 실험을 통해 해당 모델이 압축된 얼굴 비디오의 품질을 정량적으로 및 지각적으로 모두 크게 향상시킴을 보인다. 코드는 https://github.com/varun-jois/FSFVE 에서 확인할 수 있다.
더 나은 순간 포착: Live2K 데이터셋을 활용한 라이브 포토 커버 프레임 재선택 및 화질 향상
Perceiving Better Moments: Cover Frame Reselection and Enhancement for Live Photos with the Live2K Dataset
현대 스마트폰은 정지 이미지를 전후로 짧은 동영상 버스트를 함께 촬영하는 라이브 포토(Live Photos)를 제공하여 역동적이고 몰입감 있는 사진 경험을 선사한다. 그러나 커버 사진과 동영상 구성 요소는 서로 다른 두 개의 이미징 파이프라인으로 생성된다. 사진 스트림은 완전한 컴퓨테이셔널 포토그래피 처리를 거치는 반면, 동영상 스트림은 실시간 효율성 요구와 높은 압축률의 제약을 받는다. 이러한 본질적인 분리로 인해 커버 사진과 동영상 프레임 간에 해상도, 색상 재현성, 다이나믹 레인지 측면에서 상당한 품질 격차가 발생한다. 사용자가 불완전한 커버를 대체하기 위해 동영상에서 다른 프레임을 재선택할 경우, 선택된 프레임은 심각한 화질 저하를 겪는 경우가 많아 직접 교체 시 시각적으로 만족스럽지 못한 결과를 초래한다. 이러한 프레임을 복원하려면 공간적 세부 정보와 색상 외관을 동시에 향상시켜야 하며, 이는 일반적인 초해상도(super-resolution)나 색상 향상보다 훨씬 어려운 과제이다. 이를 해결하기 위해 우리는 라이브 포토 커버 프레임 재선택 및 향상(LPRE, Live Photo Cover Frame Reselection and Enhancement) 태스크를 정의한다. 이 태스크는 각 라이브 포토 내에 내재된 단서를 활용한다. 즉, 구조적·색상 참조로서 고품질 커버 이미지, 복원 대상으로서 사용자가 재선택한 저품질 프레임, 그리고 시간적 단서를 제공하는 인접 동영상 프레임들을 활용한다. 이 공식화를 바탕으로 실세계 라이브 포토 2,042장으로 구성된 데이터셋 Live2K를 구축하고, 멀티 프레임 융합, 가이드 기반 색상 향상 및 초해상도를 통합하는 통합 단일 단계 기준선(baseline)을 개발하여 라이브 포토 화질 향상 연구를 위한 최초의 벤치마크를 수립한다.
SUNTA: Hierarchical Video Prediction with Surprise-based Chunking
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
Z-Order Recurrent Neural Networks for Video Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.