arXiv:1803.10967

Context-aware Synthesis for Video Frame Interpolation

Simon Niklaus, Feng Liu

제출 2018-03-29

원문 초록

Video frame interpolation algorithms typically estimate optical flow or its variations and then use it to guide the synthesis of an intermediate frame between two consecutive original frames. To handle challenges like occlusion, bidirectional flow between the two input frames is often estimated and used to warp and blend the input frames. However, how to effectively blend the two warped frames still remains a challenging problem. This paper presents a context-aware synthesis approach that warps not only the input frames but also their pixel-wise contextual information and uses them to interpolate a high-quality intermediate frame. Specifically, we first use a pre-trained neural network to extract per-pixel contextual information for input frames. We then employ a state-of-the-art optical flow algorithm to estimate bidirectional flow between them and pre-warp both input frames and their context maps. Finally, unlike common approaches that blend the pre-warped frames, our method feeds them and their context maps to a video frame synthesis neural network to produce the interpolated frame in a context-aware fashion. Our neural network is fully convolutional and is trained end to end. Our experiments show that our method can handle challenging scenarios such as occlusion and large motion and outperforms representative state-of-the-art approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2512.17323v3cs.CV공통 태그 Optical Flow Estimation, Video Frame Interpolation

프레임 간 잔차 정렬을 통한 이벤트 기반 장면 합성

Event-based Scene Synthesis via Inter-Frame Residual Alignment

이벤트 기반 장면 합성(event-based scene synthesis)은 희소한 이미지 관측값과 비동기 이벤트 스트림으로부터 목표 RGB 프레임을 복원하는 것으로, 비디오 프레임 예측과 보간을 모두 포괄한다. 기존의 이벤트 기반 합성 방법들은 일반적으로 광학 흐름(optical flow)을 추정하여 관측된 프레임을 목표 시점으로 워핑(warp)하지만, 큰 움직임과 가림(occlusion)이 있을 때 부정확한 흐름에 취약하며 흐름 지도 학습(flow supervision)이나 사전학습된 추정기에 의존하는 경우가 많다. 본 연구에서는 프레임 간 잔차 정렬(inter-frame residual alignment)에 기반한 이벤트 기반 장면 합성 프레임워크인 EvFRA를 제안한다. 우리는 이벤트 측정값과 프레임 간 장면 변화 사이의 구조적 대응 관계를 발견하고, 이를 목표 프레임 합성에 활용한다. 우리의 학습 파이프라인은 두 단계로 구성된다: 1) 이벤트-잔차 정렬 변분 오토인코더(Event-to-Residual Alignment Variational Autoencoder, ER-VAE)는 앵커 프레임과 목표 프레임 사이에 포착된 이벤트 프레임을 해당하는 프레임 간 잔차와 정렬시키고, 2) ControlNet 조건부 디퓨전 모델을 파인튜닝하여 이벤트 데이터를 사용해 잔차 잠재 표현(residual latent)을 디노이징한다. 우리의 방법은 프레임 예측과 보간에서 각각 최대 2.61 dB와 1.85 dB의 PSNR로 최신 기법들을 능가하며, SSIM에서도 일관된 향상을 보인다. 코드는 https://github.com/jiyun-kong/EvFRA 에서 확인할 수 있다.

arXiv:2606.27718v1cs.CV공통 태그 Optical Flow Estimation, Video Frame Interpolation

MASS: 플로우 기반 비디오 프레임 보간 정제를 위한 모션 정렬 선택적 스캔

MASS: Motion-Aligned Selective Scan for Refinement in Flow-Based Video Frame Interpolation

비디오 프레임 보간(VFI)은 특히 크고 비선형적인 움직임과 복잡한 가림을 다룰 때 여전히 어려운 과제입니다. 플로우 기반 방법이 널리 쓰이지만, 모호한 대응 문제에 자주 어려움을 겪습니다. 선택적 상태 공간 모델(SSM)에 기반한 최근 VFI 방법들은 물리적 움직임과 어긋나는 정적 그리드 기반 스캐닝 때문에 여전히 한계가 있습니다. 본 논문에서는 특징 스캐닝을 정적 공간 그리드에서 동적 모션 궤적으로 재구성하는 새로운 프레임워크인 Motion-Aligned Selective Scan(MASS)을 제안합니다. MASS는 각 픽셀의 플로우 유도 궤적을 따라 특징 시퀀스를 구성하고 SSM으로 이를 집약합니다. 구체적으로, 잔차 속도 업데이트를 통해 복잡한 곡선 궤적을 근사하는 학습 가능한 비선형 경로 적분과, 모션 크기에 따라 샘플링 예산과 스텝 크기를 동적으로 조절하는 속도 인식 SSM을 도입합니다. 이 적응적 전략은 빠른 움직임 영역에는 더 조밀한 샘플링을 배분하면서 정적 영역은 효율적으로 유지합니다. 또한 집약된 상태는 정제 모듈을 안내하여 중간 플로우와 마스크를 엔드투엔드 방식으로 보정합니다. 광범위한 실험은 MASS가 표준 벤치마크에서 전반적으로 매우 경쟁력 있는 성능을 달성하며, 특히 큰 변위와 복잡한 동역학을 포함한 어려운 시나리오에서 최첨단 결과를 확립함을 보여줍니다.

arXiv:2606.24282v1cs.CV공통 태그 Optical Flow Estimation, Video Frame Interpolation

UniRED: 이벤트 가이던스를 활용한 통합 RGB-D 비디오 프레임 보간

UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance

고프레임률 RGB-D 비디오는 동작 분석, 동적 장면 이해, 3D 재구성 등 다양한 다운스트림 태스크에 필수적이다. 그러나 하드웨어 및 센싱의 제약으로 인해 실용적인 RGB-D 카메라는 일반적으로 낮은 프레임률로 제한되어 빠른 장면 역학을 포착하기 어렵다. 기존 비디오 보간 방법들은 RGB 데이터에서 강력한 성능을 달성했지만, RGB-D 시나리오에는 곧바로 적용하기 어려우며, 경계 흐림, 가시적 아티팩트, 기하학적 일관성 저하 등의 문제를 자주 야기한다. 더욱이 복잡한 동적 장면에서 두 경계 프레임만으로 동작을 추정하는 것은 본질적으로 제약이 부족한 문제이다. 반면 이벤트 카메라는 초고시간 해상도의 비동기 측정을 제공하여 밀도 높은 동작 단서를 제공한다. 본 논문에서는 RGB 외관, 깊이 기하, 이벤트 기반 시간적 단서를 공동으로 활용하는 RGB-D 비디오 보간을 위한 통합 멀티모달 프레임워크를 제안한다. 구체적으로, 먼저 RGB, 깊이 및 이벤트 단서를 추출하고 융합한 후, RGB에 대한 모션 기저 정제와 깊이에 대한 Z축 정제를 통해 양방향 플로우를 추정하고, 마지막으로 양방향 와핑과 소프트 블렌딩을 통해 목표 RGB-D 프레임을 합성한다. 또한, 세 가지 모달리티 학습 데이터의 부족을 해소하기 위해 새로운 RGB-D-Event 데이터셋을 구축한다. 공개 벤치마크와 제안된 데이터셋에 대한 광범위한 실험을 통해, 본 방법이 기존 접근법 대비 RGB 보간에서 우수한 측광 충실도와 깊이 보간에서 더 강력한 기하학적 정확도를 달성함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.