SemanTok: 효율적인 자기회귀 비디오 생성을 위한 예측 가능한 시맨틱 토큰
SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
한국어 초록
최근 비디오 기반 월드 모델은 자기회귀(AR) 예측의 확장성과 확산 모델(diffusion model)의 시각적 품질을 결합하고 있습니다. 충실도와 시맨틱 측면 모두에서 최적의 성능을 달성하려면 장면 토크나이저의 선택이 매우 중요합니다. 가변 길이의 조잡-정밀(coarse-to-fine) 토크나이저는 바로 이러한 점을 제공합니다. 즉, 초기의 대략적인 토큰들이 클립의 전역적 시맨틱을 전달하는 한편, 이후의 토큰들은 세부 사항을 추가로 구체화합니다. 기존의 가변 토크나이저는 초기 디코더 은닉 상태에 표현 정렬(REPA) 손실만을 적용하는데, 디코더는 노이즈가 추가된 입력으로부터도 이 목표를 부분적으로 충족할 수 있습니다. 본 논문에서는 동결된 DINO 특징을 인코더에 입력하고, 유지된 각 토큰 접두 문맥만으로 이를 재구성하는 경량 헤드를 추가한 가변 비디오 토크나이저인 SemanTok을 소개합니다. SemanTok은 모든 AR 모델 크기에서 높은 시맨틱 정렬과 비디오 충실도를 달성합니다. 201M 크기의 SemanTok AR 모델은 크기가 $3.4\times$에 달하는 VideoFlexTok AR 모델과 동등하거나 그 이상의 성능을 보이며, 더 큰 SemanTok AR 모델은 충실도를 더욱 향상시킵니다. 또한 분포 외(OOD) 클래스에서도 시맨틱 정렬을 유지하며, 순수 노이즈를 포함한 모든 노이즈 수준에서 디코더에 더 높은 시맨틱 정렬을 부여합니다. SemanTok은 재구성 및 생성 모두에서 우수한 성능을 발휘하며, 짧은 토큰 접두 문맥은 예측 비용이 더 저렴하면서도 픽셀 디테일을 후속 토큰으로 미룸으로써 더 우수한 생성 충실도를 제공합니다.
원문 초록
Recent video-based world models pair the scalability of autoregressive (AR) prediction with the visual quality of diffusion models. The choice of scene tokenizer is paramount for the optimal performance of each of these, both in terms of fidelity and semantics. Flexible-length, coarse-to-fine tokenizers yield exactly that: the first coarse tokens carry the clip's global semantics while later tokens further specify details. Existing flexible tokenizers only apply a representation-alignment (REPA) loss on early decoder hidden states, a target the decoder can partly meet from its noised input instead. We introduce SemanTok, a flexible video tokenizer that feeds frozen DINO features into its encoder and adds lightweight heads that reconstruct them from each retained token prefix alone. SemanTok achieves high semantic alignment and video fidelity at every AR model size: a 201M SemanTok AR model matches or beats a VideoFlexTok AR model $3.4\times$ its size, and larger SemanTok AR models further improve fidelity. It keeps semantic alignment on out-of-distribution classes and gives the decoder higher semantic alignment at every noise level, including pure noise. It performs well in both reconstruction and generation, and its short token prefixes are cheaper to predict and give better generation fidelity, with pixel detail deferred to later tokens.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ProAR: 자기회귀 비디오 모델을 통한 전향적 추론 학습
ProAR: Learning Prospective Reasoning with Autoregressive Video Models
자기회귀(AR) 비디오 모델은 인과적 생성에 뛰어나지만, 다음 청크 예측(next-chunk prediction)에 의존하기 때문에 근시안적이고 반응적인 패러다임에 머무르게 됩니다. 이러한 한계는 국소적인 시각적 타당성보다 유효한 중간 상태를 거쳐 목표 결과를 달성하는 것이 더 중요한 추론 중심 생성에서 특히 중대한 영향을 미칩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 자기회귀 비디오 생성을 목표 지향적 추론 과정으로 변환하는 새로운 프레임워크인 ProAR(Learning Prospective Reasoning with Autoregressive Video Models)을 제안합니다. ProAR은 두 가지 핵심 구성 요소를 도입합니다: (1) 생성을 장기적인 결과에 고정하기 위해 비대칭 어텐션 마스크를 통해 목표 프레임 예측을 자기회귀 루프에 통합함으로써, 예측된 목표 프레임이 중간 상태의 간섭을 받지 않고 그 생성을 유도할 수 있도록 합니다. (2) 단기 전환을 유도하기 위해 현재 은닉 상태가 다가올 시간적 동역학을 예측하도록 장려하는 미래 표현 자기 정렬(future representation self-alignment)을 도입합니다. AR 학습에서 티처 포싱(teacher-forcing)을 활용하여 단일 순전파에서 깔끔한 미래 표현을 추출하고, 학습 시에만 사용되는 경량 예측기를 사용해 현재 표현을 이에 정렬합니다. 이 두 메커니즘은 명시적이고 희소한 목표 지도와 암묵적이고 조밀한 단계별 안내를 매끄럽게 결합하여, 적은 계산 비용으로도 일관되고 목표 지향적인 추론 진행을 촉진합니다. 실험 결과에 따르면 ProAR의 상호보완적인 구성 요소들은 다양한 시각적 추론 벤치마크 전반에서 지속적으로 성능을 향상시키는 것으로 나타났습니다. 또한 이 프레임워크는 학습 단계의 25%만을 사용하여 완전히 학습된 표준 AR 베이스라인을 능가할 정도로 학습 효율성이 매우 높음을 입증했습니다. 아울러 이러한 패러다임은 체화된(embodied) 추론 태스크에 대해서도 유망한 적용 가능성을 보여줍니다.
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
자기지도 음성 모델을 이용한 L2 발음 편차 측정용 원어민 기준 좌표 기하학
A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models
호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리
Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion
자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.
HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단
Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC
표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
29 pages, 22 figures, including references and appendix; 9 pages of main text