arXiv:2104.09134

Restoration of Video Frames from a Single Blurred Image with Motion Understanding

Dawit Mureja Argaw, Junsik Kim, Francois Rameau, Chaoning Zhang, In So Kweon

제출 2021-04-19

원문 초록

We propose a novel framework to generate clean video frames from a single motion-blurred image. While a broad range of literature focuses on recovering a single image from a blurred image, in this work, we tackle a more challenging task i.e. video restoration from a blurred image. We formulate video restoration from a single blurred image as an inverse problem by setting clean image sequence and their respective motion as latent factors, and the blurred image as an observation. Our framework is based on an encoder-decoder structure with spatial transformer network modules to restore a video sequence and its underlying motion in an end-to-end manner. We design a loss function and regularizers with complementary properties to stabilize the training and analyze variant models of the proposed network. The effectiveness and transferability of our network are highlighted through a large set of experiments on two different types of datasets: camera rotation blurs generated from panorama scenes and dynamic motion blurs in high speed videos.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13460v2cs.CV공통 태그 Video Restoration

LPM: 산업 규모 생성형 비디오 복원

LPM: Industrial-Scale Generative Video Restoration

본 논문은 복잡한 실환경(in-the-wild) 열화 하에서 사실적인(photorealistic) 비디오 복원을 위한 확산 기반 생성 프레임워크인 Large Processing Model(LPM)을 제안한다. 우리가 아는 한, LPM은 산업 규모로 배포된 최초의 생성형 비디오 복원 모델이다. LPM은 대규모 데이터 엔지니어링, 파운데이션 모델 학습, 효율적인 추론을 아우르는 통합 시스템을 통해 사용자 생성 콘텐츠(UGC)의 다양한 열화를 해결한다. 향상된 아키텍처, 점진적 학습 전략, 시간 피라미드(temporal-pyramid) 추론 메커니즘이 공동으로 UGC 플랫폼에서 접하는 넓은 콘텐츠 분포 전반에 걸쳐 임의 길이의 비디오에 대한 고충실도·시간적으로 일관된 복원을 가능하게 한다. LPM은 Kuaishou에 프로덕션으로 배포되었으며, 모델이 처리한 비디오는 전체 시청 시간의 약 45%를 차지하고 주요 체감 품질(quality-of-experience) 지표 전반에서 일관된 개선을 제공한다. 지각적 향상을 넘어 LPM은 상당한 시스템 수준의 이점도 제공한다. 동등한 지각 품질에서 Kuaishou 자체 코덱 대비 비트레이트를 20% 줄여, 연간 대역폭 비용을 수억 규모로 절감한다. 낮은 서빙 비용은 Kling과 같은 제품으로의 통합도 가능하게 하며, 생성형 복원이 대규모 비디오 처리에 실용적이고 확장 가능하며 비용 효율적일 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.