arXiv:2512.17323v3 cs.CV

프레임 간 잔차 정렬을 통한 이벤트 기반 장면 합성

Event-based Scene Synthesis via Inter-Frame Residual Alignment

Jiyun Kong, Jun-Hyuk Kim, Jong-Seok Lee

제출 2025-12-19

저자 비고

arXiv Comments

Accepted to ACCV 2026

한국어 초록

이벤트 기반 장면 합성(event-based scene synthesis)은 희소한 이미지 관측값과 비동기 이벤트 스트림으로부터 목표 RGB 프레임을 복원하는 것으로, 비디오 프레임 예측과 보간을 모두 포괄한다. 기존의 이벤트 기반 합성 방법들은 일반적으로 광학 흐름(optical flow)을 추정하여 관측된 프레임을 목표 시점으로 워핑(warp)하지만, 큰 움직임과 가림(occlusion)이 있을 때 부정확한 흐름에 취약하며 흐름 지도 학습(flow supervision)이나 사전학습된 추정기에 의존하는 경우가 많다. 본 연구에서는 프레임 간 잔차 정렬(inter-frame residual alignment)에 기반한 이벤트 기반 장면 합성 프레임워크인 EvFRA를 제안한다. 우리는 이벤트 측정값과 프레임 간 장면 변화 사이의 구조적 대응 관계를 발견하고, 이를 목표 프레임 합성에 활용한다. 우리의 학습 파이프라인은 두 단계로 구성된다: 1) 이벤트-잔차 정렬 변분 오토인코더(Event-to-Residual Alignment Variational Autoencoder, ER-VAE)는 앵커 프레임과 목표 프레임 사이에 포착된 이벤트 프레임을 해당하는 프레임 간 잔차와 정렬시키고, 2) ControlNet 조건부 디퓨전 모델을 파인튜닝하여 이벤트 데이터를 사용해 잔차 잠재 표현(residual latent)을 디노이징한다. 우리의 방법은 프레임 예측과 보간에서 각각 최대 2.61 dB와 1.85 dB의 PSNR로 최신 기법들을 능가하며, SSIM에서도 일관된 향상을 보인다. 코드는 https://github.com/jiyun-kong/EvFRA 에서 확인할 수 있다.

원문 초록

Event-based scene synthesis reconstructs target RGB frames from sparse image observations and asynchronous event streams, encompassing both video frame prediction and interpolation. Existing event-based synthesis methods commonly estimate optical flow to warp the observed frames toward the target time, but are vulnerable to inaccurate flow under large motion and occlusion and often rely on flow supervision or pretrained estimators. In this work, we propose EvFRA, an Event-based scene synthesis framework based on inter-Frame Residual Alignment. We identify a structural correspondence between event measurements and frame-to-frame scene changes, and exploit this correspondence for target frame synthesis. Our training pipeline consists of two stages: 1) an Event-to-Residual Alignment Variational Autoencoder (ER-VAE) aligns the event frame captured between the anchor and target frames with the corresponding inter-frame residual, and 2) a ControlNet-conditioned diffusion model is fine-tuned to denoise the residual latent using event data. Our method outperforms state-of-the-art methods by up to 2.61 dB and 1.85 dB in PSNR for frame prediction and interpolation, respectively, with consistent SSIM improvements. Code is available at https://github.com/jiyun-kong/EvFRA.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.17323v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28083v1cs.CV공통 태그 Denoising, Optical Flow Estimation, Video Generation

ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델

ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming

듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.

arXiv:2609.27901v2cs.CV공통 태그 Denoising, Video Generation

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.23153v2cs.CV공통 태그 Denoising, Video Generation

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2610.10984v1cs.CV공통 태그 Denoising, Video Generation

Fluid-Gen-Zero: 학습 없이 사전학습된 비디오 생성기를 물리 법칙에 그라운딩하기

Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training

본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.

arXiv:2609.20744v3cs.LG공통 태그 Denoising, Video Generation

Video DeltaNet: 라이브스트림 비디오 생성을 위한 비디오 네이티브 하이브리드 어텐션

Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation

비디오 확산 모델(video diffusion model)은 노이즈 제거(denoising) 과정에서 긴 시공간 토큰 시퀀스를 반복적으로 처리하므로, 어텐션이 주요한 계산 병목점이 됩니다. 선형 어텐션(linear attention)은 매력적인 대안을 제공하며 최근 대규모 언어 모델(LLM)에 널리 도입되었으나, 비디오 모델에 직접 적용할 경우 고품질 생성에 필요한 세밀한 상호작용을 보존하지 못하는 경우가 많습니다. 본 논문에서는 장거리 비디오 문맥을 위해 로컬 소프트맥스 어텐션과 양방향 선형 메모리를 결합한 Video DeltaNet(VDN)을 제시합니다. VDN의 선형 브랜치는 공간 토큰들을 함께 통합하여 프레임당 한 번 메모리를 업데이트하는 Video Delta Attention(VDA)을 도입합니다. 별도의 출력 투영(output projection)과 학습 가능한 게이트가 두 브랜치를 보정하며, 단계별 교사 정렬(teacher-alignment) 레시피를 통해 사전학습된 모델에 새로운 경로를 점진적으로 도입합니다. 저자들은 MiniMax H3에 VDN을 구현하여 텍스트나 오디오와 관련된 상호작용에는 소프트맥스를 유지하면서 비디오 간 상호작용에 하이브리드 방식을 적용했습니다. 8단계 지식 증류와 최적화된 SGLang 서빙 스택을 갖춘 VDN-H3은 8개의 NVIDIA B200 GPU에서 14.3초 길이의 768p 비디오에 대한 DiT 노이즈 제거를 6.70초 만에 완료하며, 이는 동일한 GPU 수에서 50단계 밀집 H3 기준선 대비 14.5배 속도 향상에 해당합니다. GitHub 코드는 https://github.com/OpenVDN/vdn-minimax-h3 에서 제공되며, 가중치는 https://huggingface.co/OpenVDN/vdn-minimax-h3 에서 제공됩니다.

arXiv:2610.02660v1cs.CV공통 태그 Denoising, Video Generation

SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화

SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching

확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.