Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리
Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion
한국어 초록
자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
원문 초록
Autoregressive (AR) video generation enables long-horizon synthesis but requires repeated forward passes through large diffusion transformers. Training-free caching reduces this cost by reusing intermediate computation, yet existing controllers often couple two decisions: when to synchronize the cache exactly and how much computation to repair between synchronizations. We introduce Frequency-Step Cache (FSC), which separates these roles. FSC schedules exact full-computation anchors on a dense-to-sparse trajectory, while a lightweight latent-space risk based on frequency-resolved drift and token age controls inter-anchor repair through whole-step replay, selective token recomputation, or full repair. On SkyReels-V2, whole-step reuse provides most of the acceleration, while selective token computation is most effective as fidelity repair. A controlled ablation shows that using one reactive signal for both synchronization and repair reduces fidelity at matched latency, with the same separation advantage observed on FramePack and Matrix-Game. Across multiple autoregressive video backbones, FSC improves speed-quality trade-offs. On SkyReels-V2, FSC-Speed reaches 2.36x speedup versus MotionCache's 2.275x while improving SSIM by 0.019 and PSNR by 0.5 dB. At MotionCache-matched speed, FSC-Quality improves SSIM by 0.031 and PSNR by 1.0 dB and lowers LPIPS by 0.024. Without retuning, FSC-Quality transfers to SkyReels-V2 14B at 2.12x speedup versus 1.79x for MotionCache.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화
SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
TRAC: 효율적인 자기회귀 비디오 생성을 위한 궤적 인식 재사용 및 적응형 보정
TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation
본 논문에서는 효율적인 자기회귀(AR) 비디오 생성을 위한 학습(training) 불필요 프레임워크인 TRAC(trajectory-aware reuse and adaptive correction)을 제시합니다. 기존의 가속 기법들은 주로 양방향 어텐션(attention)을 사용하는 단일 궤적 생성을 목표로 합니다. 반면 AR 비디오 생성은 청크(chunk) 단위의 노이즈 제거 궤적들을 순차적으로 결합합니다. 그 결과, 생성 과정 전반에 걸쳐 근사 오차가 누적되고 전파됩니다. TRAC은 견고한 누적 스케줄링(RCS), 자기회귀 궤적 인식 가이던스 스케줄링(ATGS), 스펙트럼 구조 보정(SSC)의 세 가지 구성 요소로 이 문제를 해결합니다. RCS는 누적 롤아웃(rollout) 오차와 청크 간/프롬프트(prompt) 변동을 기반으로 캐시 재사용 일정을 선택합니다. ATGS는 전체 AR 궤적을 따라 CFG 갱신을 조율합니다. SSC는 첫 번째 청크의 저주파 구조를 복원하여 장기적인 구조적 손실(loss)을 바로잡습니다. SkyReels-V2 및 FramePack-F1에 대한 실험 결과, TRAC은 기존 방법들과 비교하여 AR 비디오 생성에서 가장 높은 추론(inference) 효율성과 최고의 생성 품질을 모두 달성함을 보여줍니다.
소수 스텝 확산 트랜스포머에서 무엇을 캐싱할 것인가에 대한 재고: 솔버 인식 기반 대상 선택
Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection
확산 트랜스포머(Diffusion Transformer, DiT)는 고품질 이미지와 비디오를 생성할 수 있지만, 각 샘플을 생성하려면 비용이 많이 드는 DiT 순전파(forward pass)를 여러 번 수행해야 합니다. DiT 샘플링을 가속화하는 두 가지 일반적인 방법은 샘플링 스텝 수를 줄이는 스텝 증류(step distillation)와, 이전 스텝에서 계산된 텐서(tensor)를 재사용하여 일부 DiT 연산을 건너뛰는 캐싱(caching)입니다. 대부분의 캐싱 방법은 재사용할 텐서를 사전에 결정합니다. 증류 후에는 인접한 샘플링 스텝 간의 간격이 더 넓어집니다. 이렇게 더 넓어진 간격에 걸쳐 텐서를 재사용하면 더 많은 오차가 발생하므로, 무엇을 캐싱할지 선택하는 것이 특히 중요해집니다. 따라서 본 연구에서는 주어진 모델(model), 솔버(solver), 재사용 스케줄에 맞춰 캐싱할 텐서를 선택하는 방법인 AutoTarget을 소개합니다. AutoTarget은 캐시 재사용이 없는 소수의 실행을 사용하여 각 후보 텐서를 재사용할 때 발생하는 오차를 측정한 다음, 가장 낮은 오차를 보이는 후보를 선택합니다. 또한 단일 재사용 스텝의 오차가 최종 샘플에 어떤 영향을 미치는지 분석합니다. 오일러(Euler) 샘플링의 경우 동일한 궤적을 생성하는 캐시 대상을 식별하고, 저장된 솔버 업데이트가 그렇지 못할 수 있는 이유를 보여줍니다. 증류된 이미지 및 비디오 DiT에 대한 실험을 통해 최적의 캐시 대상이 모델, 이미지 해상도, 솔버에 따라 달라짐을 확인했습니다. AutoTarget은 DiT 연산 횟수와 유지되는 캐시 저장 공간을 줄입니다. 생성 품질은 캐싱을 사용하지 않은 해당 실행과 가깝게 유지됩니다. 테스트된 PixArt-LCM 및 FLUX.1-schnell 설정에서 AutoTarget의 캘리브레이션 순위는 별도로 분리된 캐시 실행의 순위와 일치합니다. 재현을 돕기 위해 핵심 구현체를 GitHub(https://github.com/wali1024-offical/AutoTarget)에 제공합니다.
병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성
Real-Time Joint Audio-Video Generation by Parallel Adapter Composition
실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/
DAGS: 시간적으로 안정화된 생성형 렌더링을 위한 동결된 이미지 DiT의 외형 및 기하학 분리 조향
DAGS: Disentangled Appearance-and-Geometry Steering of a Frozen Image DiT for Temporally Stabilized Generative Rendering
확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.
Custom Forcing: 자기회귀 비디오 생성을 위한 학습 불필요 피사체 커스터마이징
Custom Forcing: Training-Free Subject Customization for Autoregressive Video Generation
자기회귀(autoregressive) 비디오 모델은 실시간으로 분 단위의 긴 비디오를 생성할 수 있지만, 사용자가 제공한 이미지 속 특정 피사체가 아닌 텍스트 기반의 일반적인 피사체를 생성합니다. 기존의 커스터마이징 방법들은 피사체마다 값비싼 최적화(optimization)를 요구하거나, 양방향 어텐션(bidirectional attention)으로 모든 비디오 프레임을 공동 처리하는 사전학습된 조건화 네트워크를 사용합니다. 두 접근 방식 모두 인과적 스트리밍(causal streaming)을 고려하여 설계되지 않았습니다. 본 논문에서는 동결된 자기회귀 비디오 모델의 영구 KV 캐시에 참조 기반 앵커 프레임을 저장하는 학습 불필요(training-free) 방법인 Custom Forcing을 제안합니다. 그러나 고정된 앵커는 두 가지 한계에 직면합니다. 단순 조건화는 신원(identity) 드리프트를 유발하며, 텍스트 프롬프트는 여전히 일반적인 피사체를 선호합니다. 이러한 문제를 해결하기 위해, 드리프트 적응형 값 증폭(DVA)은 신원 드리프트 정도에 따라 참조의 영향력을 조절하고, 앵커 대조 유도(ACG)는 생성이 일반 클래스 사전 분포(prior)에서 벗어나도록 유도합니다. 2분 길이의 롤아웃 동안 고정된 앵커는 DINO-I 지표에서 0.58에서 0.42로 떨어지는 반면, Custom Forcing은 모션을 줄이지 않고도 이를 0.58에서 0.62 사이로 유지합니다. 또한 Custom Forcing은 양방향 커스터마이징 방법보다 더 높은 피사체 유사도를 달성하고 인과적 image-to-video 및 reference-to-video 모델보다 30초 이상 신원을 더 잘 보존하는 동시에, 이러한 롱 비디오 베이스라인보다 각 프레임을 9.5~28.5배 더 빠르게 생성합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
30 pages, 11 figures, 18 tables