자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
확산 트랜스포머(Diffusion Transformer, DiT)는 고품질 이미지와 비디오를 생성할 수 있지만, 각 샘플을 생성하려면 비용이 많이 드는 DiT 순전파(forward pass)를 여러 번 수행해야 합니다. DiT 샘플링을 가속화하는 두 가지 일반적인 방법은 샘플링 스텝 수를 줄이는 스텝 증류(step distillation)와, 이전 스텝에서 계산된 텐서(tensor)를 재사용하여 일부 DiT 연산을 건너뛰는 캐싱(caching)입니다. 대부분의 캐싱 방법은 재사용할 텐서를 사전에 결정합니다. 증류 후에는 인접한 샘플링 스텝 간의 간격이 더 넓어집니다. 이렇게 더 넓어진 간격에 걸쳐 텐서를 재사용하면 더 많은 오차가 발생하므로, 무엇을 캐싱할지 선택하는 것이 특히 중요해집니다. 따라서 본 연구에서는 주어진 모델(model), 솔버(solver), 재사용 스케줄에 맞춰 캐싱할 텐서를 선택하는 방법인 AutoTarget을 소개합니다. AutoTarget은 캐시 재사용이 없는 소수의 실행을 사용하여 각 후보 텐서를 재사용할 때 발생하는 오차를 측정한 다음, 가장 낮은 오차를 보이는 후보를 선택합니다. 또한 단일 재사용 스텝의 오차가 최종 샘플에 어떤 영향을 미치는지 분석합니다. 오일러(Euler) 샘플링의 경우 동일한 궤적을 생성하는 캐시 대상을 식별하고, 저장된 솔버 업데이트가 그렇지 못할 수 있는 이유를 보여줍니다. 증류된 이미지 및 비디오 DiT에 대한 실험을 통해 최적의 캐시 대상이 모델, 이미지 해상도, 솔버에 따라 달라짐을 확인했습니다. AutoTarget은 DiT 연산 횟수와 유지되는 캐시 저장 공간을 줄입니다. 생성 품질은 캐싱을 사용하지 않은 해당 실행과 가깝게 유지됩니다. 테스트된 PixArt-LCM 및 FLUX.1-schnell 설정에서 AutoTarget의 캘리브레이션 순위는 별도로 분리된 캐시 실행의 순위와 일치합니다. 재현을 돕기 위해 핵심 구현체를 GitHub(https://github.com/wali1024-offical/AutoTarget)에 제공합니다.
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
SD3, FLUX, 최근의 비디오 확산 트랜스포머 등 고해상도 이미지 및 비디오 확산 모델은 생성 품질을 크게 향상시켰지만, 많은 샘플링 단계에 걸쳐 어텐션 집약적인 디노이저를 반복적으로 평가하기 때문에 추론 시 여전히 비용이 많이 든다. 우리는 모델 가중치를 변경하거나 재학습하는 대신 중간 확산 특징의 중복성을 활용하여 이 비효율성을 해결한다. 이미지 및 비디오 생성에서 프레임 내, 프레임 간, 모션, 디노이징 단계의 네 가지 상호 보완적인 중복성 원천을 식별한다. 이 분석을 바탕으로 Token Cache, Frame Cache, Block Cache, Layered Cache를 통해 다차원 특징 재사용을 수행하는 통합 계층적 캐싱 프레임워크인 OmniCache를 제안한다. 매칭된 특징을 평균화하는 토큰 병합(token-merging) 기준선과 달리, OmniCache는 유사도 매칭으로 캐시 가능한 특징을 선택하고 중복 계산을 건너뛰며, 위치적으로 일관된 캐시된 활성화를 복원하여 특징 순서와 시공간 구조를 보존한다. 그 결과 이 프레임워크는 시간적 층에서 공간적 특징을, 공간적 층에서 시간적 특징을 재사용하며, Layered Cache는 모델-층 수준에서 단계 간 중복성을 포착한다. SD3, SVD-XT, Latte에서 OmniCache는 각각 최대 35%, 25%, 28%의 추론 지연을 줄이면서, 학습 없는 설정에서 시각적 충실도와 모션 일관성을 유지한다.
비디오 확산 모델(VDMs)의 추론 속도를 높이기 위해, NaviCache는 feature 진화를 관성 항법 시스템(INS) 문제로 재정의하여 오프라인 보정 없이 테스트 타임에 자기 보정이 가능한 캐싱 프레임워크를 제안한다. 이중 상태 추정 엔진과 불확실성 인식 측정 갱신 메커니즘을 통해 계산 건너뛰기 오차를 이론적으로 한정하며, HunyuanVideo, Wan, Open-Sora 시리즈 실험에서 기존 방법 대비 우수한 성능을 달성했다.
확산 Transformer(DiT)의 특징 캐싱은 고가속 구간에서 오차 누적이 심해지는데, LearniBridge는 다양한 프롬프트에 공통인 저랭크 보정 구조를 활용해 경량 LoRA로 여러 타임스텝을 연결하는 학습 가능한 보정 메커니즘을 제안한다. 3–5개 샘플만으로 학습해도 FLUX·HunyuanVideo·WAN2.1에서 최대 5.87×·5.75×·4.10× 추론 가속을 달성하고, WAN2.1에서는 4.10× 가속에서 VBench가 이전 SOTA 대비 1.28% 향상된다.