듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
프레임 보간(frame interpolation) 작업에서 학습 데이터셋 내의 모션 모호성(motion ambiguity)은 모델이 흐릿한 중간 프레임을 생성하게 만듭니다. 또한, 추론 시 프레임 간 등속 모션을 가정하는 것은 생성된 중간 프레임의 부정확성을 더욱 심화시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 효율적인 프레임 보간을 위한 베지에 조절점 기반의 정확한 모션 추정 알고리즘인 ABC-Inter를 제안합니다. 구체적으로, ABC-Inter는 두 프레임의 특징을 분리하고 이를 해당 좌표에 매핑하여 두 프레임 간의 옵티컬 플로우(optical flow)를 더 잘 추정하는 정확한 플로우 추정 모듈(Accurate Flow estimation Module, AFM)을 설계합니다. 나아가 ABC-Inter는 입력 프레임과 중간 실측값(gt) 프레임을 사용하여 계산되는 베지에(Bézier) 조절점을 도입함으로써 학습 세트의 모션 모호성을 제거합니다. 이를 통해 모델은 학습 과정에서 두 프레임 간의 정확한 옵티컬 플로우를 추정할 수 있게 되며, 결과적으로 추론 시 생성되는 중간 프레임의 흐릿함 문제를 해결합니다. 두 프레임 간의 더욱 정확한 플로우 추정 덕분에, 모델을 재학습하지 않고도 추가 프레임을 도입하고 여러 플로우를 직접 사용하여 비균일 모션을 모델링하기 위한 베지에 조절점을 계산할 수 있습니다. 동시에 단 두 개의 프레임만을 사용하여 비선형 모션 추정을 실현하기 위해, 2단계에서 모델에 미세조정을 수행하여 두 프레임 간의 더 우수한 모션 추정을 달성하는 새로운 베지에 조절점 추정 모듈도 도입합니다. 실험 결과는 우리의 ABC-Inter가 여러 벤치마크 데이터셋에서 최고 수준(state-of-the-art)의 성능을 달성하며 뛰어난 시각적 인지 품질을 보여줌을 입증합니다.
희소 이벤트 스트림에서 고품질 비디오를 복원·예측·보간하는 통합 프레임워크 LongE2V를 제안하며, 사전학습된 비디오 확산 모델(CogVideoX)을 파인튜닝하여 텍스처 흐림과 장기 시간적 드리프트 문제를 해결한다. 자기회귀적 언롤링(Autoregressive Unrolling), 적응형 컨텍스트 전환, 교차 잔차 보정을 포함한 재인코딩 정렬 기법을 도입하여 실세계 벤치마크 세 가지 과제 모두에서 최첨단 방법을 능가하고 제로샷 일반화를 달성했다.