arXiv:2609.26425v2 cs.CV

QuantWM: 월드 모델 및 비디오 생성을 위한 시간적으로 일관된 2비트 KV 캐시 양자화

QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for World Models and Video Generation

Jiaqi Zhao, Xiaobin Hu, Bo Yin, Junpeng Jiang, Miao Zhang, Shuicheng Yan

제출 2026-09-24

한국어 초록

KV 캐시 메모리는 비디오 생성과 월드 모델 배포의 주요 병목이 되었으며, 이는 효율을 위한 저비트 양자화 연구를 촉진한다. 기존 2비트 KV 캐시 양자화 방법은 VBench와 같은 비디오 벤치마크에서 거의 무손실에 가까운 성능을 달성할 수 있지만, 우리는 이들이 여전히 심각한 시간적 깜박임과 시각적 저하를 일으킨다는 것을 발견했다. 한편, 더 깊은 분석은 Key 양자화가 Value보다 더 작은 재구성 오류를 만들지만, 놀랍게도 훨씬 더 큰 출력 저하로 이어진다는 것을 보여준다. 우리는 이러한 불일치를 어텐션으로 추적한다. 작은 Key perturbation은 어텐션 logit, 즉 QK^\top을 바꿀 수 있고, Query가 선택하는 시간-공간 토큰을 이동시킬 수 있다. 이러한 관찰은 시각적 저하 문제를 완화하기 위해 KV 캐시 양자화 동안 어텐션 logit과 시간-공간 토큰 선택을 명시적으로 보존하도록 동기를 부여한다. 이 문제를 해결하기 위해, 우리는 무학습(training-free)이며 엄격하게 인과적인 2비트 KV 캐시 양자화 프레임워크인 QuantWM을 제안한다. QuantWM은 어텐션 이동을 완화하기 위해 두 가지 상보적 기법을 도입한다. 첫째, 양자화 민감도 인식 클러스터링(QSAC)은 과거 Query 민감도와 잔차 범위를 함께 고려하여 INT2에 적합한 Key 중심을 선택하고, 어텐션에 더 중요한 채널에서 양자화 오류를 줄인다. 또한, 주성분 부분공간 어텐션 보상(PSAC)은 저랭크 투영을 사용하여 지배적 Query 부분공간을 따라 남은 Key 오류를 복원하며, 어텐션 logit을 안정화하기 위한 직접적이고 효율적인 보정을 제공한다. Causal-Forcing, LingBot-World-v2, HY-World 1.5, Matrix-Game-2, Longcat-Video에 대한 광범위한 실험은 QuantWM이 시각적 품질과 시간적 일관성을 크게 개선하며, 최대 6.20배 KV 캐시 메모리 압축과 제한적인 추가 오버헤드 하에서 이미지 및 비디오 품질 지표 전반에서 기존 방법을 능가함을 보여준다.

원문 초록

KV cache memory has become a major deployment bottleneck for video generation and world models, which motivates low-bit quantization study for efficiency. Existing 2-bit KV cache quantization methods can achieve nearly lossless performance on video benchmarks such as VBench, however, we find that they still cause severe temporal flickering and visual degradation. Meanwhile, deeper investigates show that Key quantization produces smaller reconstruction errors than Value, but surprisingly leads to much larger output degradation. We trace this discrepancy to attention: small Key perturbations can change the attention logits, i.e., QK^\top, and shift the temporal-spatial tokens selected by Queries. These observations motivate us to explicitly preserve attention logits and temporal-spatial token selection during KV cache quantization to alleviate the visual degradation problem. To address this issue, we present QuantWM, a training-free and strictly causal 2-bit KV cache quantization framework. QuantWM introduces two complementary techniques to mitigate the attention shifts. Firstly, quantization-sensitivity-aware clustering (QSAC) jointly considers historical Query sensitivity and residual ranges to select INT2-friendly Key centroids, which reduces quantization errors in channels that are more critical to attention. In addition, principal-subspace attention compensation (PSAC) restores the remaining Key errors along the dominant Query subspace using low-rank projections, which provides a direct and efficient correction to stabilize attention logits. Extensive experiments on Causal-Forcing, LingBot-World-v2, HY-World 1.5, Matrix-Game-2 and Longcat-Video demonstrate that QuantWM significantly improves visual quality and temporal consistency, while outperforming existing methods across image and video quality metrics with up to 6.20x KV cache memory compression and limited additional overhead.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26425v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23153v2cs.CV공통 태그 Quantization, Video Generation

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2608.25572v2cs.RO공통 태그 Video Generation, world models

ConfAL-WM: 행동 조건부 월드 모델을 위한 신뢰도 기반 능동 학습

ConfAL-WM: Confidence-Guided Active Learning for Action-Conditioned World Models

행동 조건부 월드 모델(action-conditioned world models)은 임바디드(embodied) 예측, 계획 및 합성 데이터 생성을 위한 중요한 기반이 되었으나, 새로운 태스크 및 장면 분포에서 발생하는 오차는 로봇 팔, 조작 대상 객체, 접촉 영역, 가려진 객체와 같은 국소적인 시공간 영역에 집중되는 경우가 많습니다. 본 논문에서는 임바디드 월드 모델의 사후 학습을 위한 신뢰도 기반 능동 학습(active learning) 프레임워크인 ConfAL-WM을 제안합니다. EnerVerse-AC(EVAC)를 기반으로 UNet 디코더 특징에 경량 신뢰도 프로브(probe)를 부착하고 잠재 공간에서 조밀한 신뢰도 맵(dense confidence map)을 예측합니다. 이러한 맵은 태스크, 프레임, 패치 수준 점수로 집계되어 데이터 예산 할당과 국소적 학습 강화를 가능하게 합니다. 제안하는 파이프라인은 프로브를 학습하고 소규모 타깃 도메인 서브셋에서 EVAC을 웜업합니다. 이후 EVAC-v1은 태스크 수준 데이터 획득 신호와 선택적인 프레임/패치 가중치 신호를 제공하며, 선택된 데이터로 학습되는 모든 모델은 재학습을 위해 원래의 사전학습된 EVAC 체크포인트에서 초기화됩니다. 기본 40% 데이터 예산을 적용한 RoboTwin2.0 실험 결과, 신뢰도 기반 선택이 사후 학습 품질을 향상시키는 동시에 조밀한 프레임 및 패치 가중치 부여가 스칼라 보상, 진행도, 심사자(judge) 기반 채점 베이스라인과 비교하여 상호보완적인 재구성 및 의미론적 성능 향상을 제공함을 보여줍니다. 본 연구의 간략한 시각적 개요는 https://ConfAL-WM.github.io 에서 확인할 수 있습니다.

arXiv:2610.02521v1cs.CV공통 태그 Video Generation, world models

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2610.02660v1cs.CV공통 태그 Video Generation, world models

SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화

SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching

확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.

arXiv:2610.02726v1cs.CV공통 태그 Video Generation, world models

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.03154v1cs.CV공통 태그 Video Generation, world models

물리학은 활성화에 내재되어 있는가? 비디오 확산 모델 내 물리량 국소화

Does Physics Live in the Activations? Localizing Physical Quantities in Video Diffusion Models

비디오 생성 모델은 매우 사실적인 시퀀스를 생성하며 점차 세계 모델(world model)로 제안되고 있으나, 최근 벤치마크들은 이들 모델의 물리적 추론 능력에 뚜렷한 한계가 있음을 보여줍니다. 이는 이러한 모델들이 물리적 원리를 내재화하는 것인지, 아니면 단순히 익숙한 움직임 패턴을 재현하는 것에 불과한지에 대한 의문을 제기합니다. 본 연구에서는 중력과 접촉 조건에서의 기하학적 운동 및 강체 역학에 걸쳐 시뮬레이터 기반 참값(ground-truth) 물리량에 대해 비디오 확산 트랜스포머(DiT)의 내부 표현을 프로빙(probing)하여 이 문제를 다룹니다. 연구 결과, 이러한 물리량들은 노이즈 제거(denoising) 과정 초기 단계에서 높은 정확도로 선형 디코딩될 수 있으며, 모델 자체의 노이즈가 추가된 잠재 공간(latents)에서 직접 디코딩한 기준선(baseline)을 크게 능가함을 확인했습니다. 이는 관련 물리 정보가 입력에 이미 존재하는 것이 아니라 노이즈 제거 과정 중에 능동적으로 구성됨을 시사합니다. 또한, 물체 상의 토큰(on-object tokens)에서의 활성화가 관련 물리 정보를 전달하며, 여러 프레임에 걸쳐 정의된 물리량도 단일 잠재 프레임에서 읽어낼 수 있음을 보여줍니다. 따라서 정보는 토큰 시퀀스 내에 뚜렷하게 국소화되며, 전역적으로 계산되지만 국소적으로 저장됩니다. 나아가 프로브(probe)는 부분적인 외삽(extrapolation) 능력을 보여주어, 학습 체계(training regime) 외부의 장면 변형 및 물체 구성으로도 전이되므로 이들이 읽어내는 내용이 단순히 피팅된 장면의 상관관계에 불과한 것이 아님을 나타냅니다. 전체 해상도 활성화 공간에 직접 피팅할 경우, 이러한 프로빙 방향은 모델의 출력을 변경하기 위한 조향 벡터(steering vector) 역할을 할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.