환경의 구조와 역학을 학습하는 내부 압축 메커니즘으로서 월드 모델(world model)을 과학적으로 정의하고, 렌더러·시뮬레이터·플래너로 구성된 기능적 분류체계와 함께 옴니모달(omnimodal) 통합 표현을 향한 단계적 개발 로드맵을 제시한다. 모델 기반 강화학습, 구현 로보틱스, 물리적 AI 등 세부 분야에 걸쳐 합의된 정의가 부재한 상황에서, 월드 모델의 핵심 목표를 생성·시뮬레이션이 아닌 고차원 감각 데이터로부터 물리적 지식을 압축하는 정보이론적 문제로 규정한다.
로봇 조작을 위한 세계 행동 모델(WAM)이 외관 중심의 비디오 잠재 표현에 치우쳐 정밀 조작에 필요한 시공간 기하 구조를 충분히 학습하지 못하는 문제를 해결하기 위해, MECo-WAM은 학습 시에만 경량 4D 전문가와 동결된 VGGT 인코더를 활용해 행동 관련 4D 기하학적 사전 정보를 비디오-행동 표현에 주입하고, 배포 시에는 이를 모두 제거해 추론 비용 증가 없이 LIBERO 98.2%, RoboTwin 2.0 92.6%의 성능을 달성한다.
비디오 확산 모델에서 선호도 정렬과 증류 가속을 동시에 달성하는 것은 여전히 미해결 과제로 남아 있다. 기존 방법들은 두 목표를 불일치하는 표현 공간에서 최적화하여, 하나의 목표를 개선하면 다른 목표가 저하되는 경우가 많다. 이를 극복하기 위해, 우리는 단일 공유 표현 내에서 비디오 확산 모델을 정렬하고 가속화하는 통합 프레임워크인 Reward Lightning을 제안한다. 핵심 원리는 동원성(homology)으로, 두 목표 모두 동일한 잠재 특징에서 평가되어 분리된 표현에서 최적화할 때 발생하는 그래디언트 충돌을 완화한다. 기반 구성 요소로서, 먼저 픽셀 공간으로 디코딩하지 않고 잠재 공간에서 직접 비디오를 채점하는 잠재 보상 모델(LRM, Latent Reward Model)을 도입한다. LRM을 기반으로, 동원성 선호도 증류(HPD, Homologous Preference Distillation)는 이 공유 백본을 재활용하여 적대적 증류와 선호도 정렬을 공동으로 수행하며, 충실하고 잘 정렬된 소수 단계 생성기를 산출한다. 광범위한 실험을 통해 LRM이 픽셀 수준 및 잠재 수준 보상 모델 기준선을 선호도 정확도에서 각각 $11.0\%$ 및 $14.7\%$ 능가하며, Reward Lightning이 단 $1$~$4$ 단계만으로 고품질 비디오를 생성하여 평균 VBench 점수를 $2.1\%$ 향상시키면서 텍스트 정렬, 모션 품질, 시각적 품질에서 선두를 달리는 것을 보여준다. 프로젝트 페이지: https://reward-lightning.github.io.
모바일 기기에서의 이미지-투-비디오 생성에 대한 수요가 증가함에 따라, 불릿 타임(bullet time), 달리 줌(dolly zoom), 슬로모션 등 영화적 모션 효과에 대한 관심이 높아지고 있다. 디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 비디오 생성에서 우수한 성능을 보이지만, 방대한 매개변수 크기와 다단계 반복적 디노이징 과정으로 인해 상당한 연산 부담이 발생하여 모바일 기기에서의 효율적인 생성이 어렵다. 우리는 이 격차를 해소하기 위해 CineMobile을 제안한다. 구체적으로, CineMobile은 세 가지 최적화 전략을 채택한다: (1) 지식 증류 기반 가지치기 방식을 활용하여 영화적 효과에 필요한 핵심 비디오 생성 능력을 유지하면서도 컴팩트하고 효율적인 모델을 도출하고; (2) 디퓨전 증류와 강화학습의 조합을 통해 압축된 모델을 4단계 생성기로 최적화하며; (3) 하이브리드 사후 학습 양자화 전략을 적용하여 모델 용량을 1 GB 이하로 압축한다. 실험 결과, Wan 2.1 아키텍처의 교사 모델 대비 CineMobile은 유사한 시각적 품질을 유지하면서 생성 속도를 40배 향상시켰다. 구체적으로, CineMobile은 NVIDIA H200 GPU에서 단계당 디노이징 지연 시간 0.6초, MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 20초로 49프레임 480p 비디오를 생성하며, 최대 메모리 사용량은 1.8 GB로, 모바일 기반 이미지-투-비디오 생성의 실용적 적용 가능성을 입증한다.
복잡한 다이내믹스에 대한 정밀한 제어는 현대 비디오 생성 모델에서 여전히 어려운 과제로, 텍스트 프롬프트만으로는 물리적으로 그럴듯하고 세밀한 동작 및 상호작용을 지정하기 어렵다. 우리는 물리 기반 시뮬레이션 또는 실세계 녹화에서 얻은 거친 프록시 비디오가 다이내믹스 캐리어로서 전경 객체의 동작을 제어하는 $\textit{프록시 조건부 비디오 생성}$을 제안한다. 프록시 비디오와 텍스트 프롬프트가 주어졌을 때, 목표는 프록시 다이내믹스를 보존하면서 프롬프트에 정렬된 새로운 콘텐츠와 그럴듯한 상호작용을 생성하는 새 비디오를 합성하는 것이다. 쌍을 이루는 프록시-타깃 비디오를 확보하기 어렵기 때문에, 우리는 사전학습된 비디오 생성 모델 위에 구축된 학습 불필요 프레임워크인 $\textbf{ProxyUp}$을 제안한다. ProxyUp은 먼저 프록시 비디오를 중간 잠재 표현으로 역변환하고 $\textbf{영역별 잠재 노이징(region-wise latent noising)}$을 적용하여, 동작에 핵심적인 프록시 잠재 표현을 보존하면서 텍스트 기반 재생성이 의도된 영역에 노이즈를 주입한다. 이러한 휴리스틱 잠재 합성으로 인해 발생하는 분포 불일치 및 약한 전경-배경 결합 문제를 완화하기 위해, ODE 샘플링 전에 합성된 잠재 표현을 모델의 학습된 분포 방향으로 점진적으로 완화하는 $\textbf{확률적 플로우 완화(Stochastic Flow Relaxation, SFR)}$를 추가로 제안한다. 시뮬레이션 및 실세계 프록시 모두에 대한 실험에서 ProxyUp은 동적 충실도와 텍스트 정렬 측면에서 강력한 비디오 편집 및 모션 전이 베이스라인을 능가함을 보인다.
본 논문에서는 플로우 매칭(flow matching) 모델의 소수 단계 생성을 위한 간단하면서도 효과적인 프레임워크인 퍼셉추얼 플로우 매칭(Perceptual Flow Matching, PFM)을 제안한다. PFM은 기존의 VAE 잠재 공간에서 속도 회귀(velocity regression)를 수행하는 대신, 사전학습된 퍼셉추얼 모델을 사용하여 퍼셉추얼 특징(feature) 공간에서 플로우 매칭을 감독한다. 이 간단한 변경만으로 플로우 매칭 모델의 소수 단계 생성 능력이 크게 향상되어, 생성 품질을 유지하면서 샘플링 단계 수를 35~50단계에서 4~8단계로 줄일 수 있다. 기존의 가속화 및 지식 증류(distillation) 방법과 달리, PFM은 교사 모델이나 보조 스코어 네트워크를 필요로 하지 않으며, 최소한의 수정만으로 표준 플로우 매칭 학습(training) 파이프라인에 통합될 수 있다. 이미지 생성, 비디오 생성, 이미지 편집 태스크에 대한 광범위한 실험을 통해 PFM이 기존 지식 증류 기반 방법보다 아티팩트를 적게 생성하면서 일관되게 고품질 결과를 산출함을 입증한다. 또한 퍼셉추얼 감독이 회귀 최솟값을 평균 추구(mean-seeking)에서 모드 추구(mode-seeking)로 전환시켜, 거친 소수 단계 적분 하에서도 정확성을 유지하는 매니폴드 상의 모드(on-manifold mode)로 예측을 편향시킴을 보인다. 본 연구 결과는 적절한 표현 공간에서 감독될 때 표준 플로우 매칭 학습이 자연스럽게 고품질 소수 단계 생성기를 산출할 수 있음을 밝힌다. 이 통찰이 효율적인 생성 모델링을 위한 표현 인식 목적 함수에 관한 향후 연구에 영감을 주길 바란다.
대규모 생성 모델의 최근 발전은 비디오 생성 분야를 크게 진전시켰으나, 기존 방법들은 여전히 경직된 추론 패러다임에 제약을 받고 있다. 양방향 확산 모델은 전역적 일관성과 시각적 충실도에서 뛰어나지만 느린 추론 속도가 단점이며, 자기회귀(autoregressive) 모델은 효율적이고 스트리밍 방식의 생성을 제공하지만 장거리 일관성 및 노출 바이어스 문제를 수반한다. 우리는 Flex-Forcing를 소개한다. 이는 비디오 확산 모델이 양방향 생성 방식과 자기회귀 생성 방식 모두에서 원활하게 동작할 수 있도록 하는 통합 학습 및 추론 프레임워크이다. 핵심 아이디어는 시간 축과 노이즈 제거 단계에 걸쳐 공동으로 정의된 유연한 청킹(chunking) 메커니즘이다. 이 설계를 통해 모델은 (1) 다양한 디바이스 예산에 맞게 유연한 청킹을 수행하고, (2) 전역 구조 계획을 위해 청크 간 양방향 추론을 수행하면서 효율적이고 세밀한 합성을 위해 각 청크 내에서 프레임을 자기회귀 방식으로 생성하며, (3) 엄격한 인과적 제약 없이 임의 순서·임의 타임스텝의 자기회귀 생성을 수행할 수 있다. 다수의 비디오 생성 벤치마크에서 수행한 광범위한 실험을 통해, Flex-Forcing는 경직된 추론 스케줄을 사용하는 강력한 베이스라인 대비 일관되게 더 우수한 비디오 품질과 장시간 비디오 안정성을 달성하면서도 더 빠른 추론 속도를 제공함을 입증한다.
비디오 생성 패러다임이 부분적 조작에서 전체 장면 합성으로 발전함에 따라, AI 생성 비디오 탐지는 위조물이 전역적으로 일관된 구조와 높은 지각적 사실감을 나타내므로 점점 더 어려워지고 있다. 그러나 기존 벤치마크는 지각적 충실도에 편향되어 있으며, 주로 지각적 아티팩트를 기반으로 탐지기를 평가함으로써 물리 법칙 위반, 구조적 일관성, 또는 사회적 논리에 대한 추론이 필요한 시나리오를 충분히 다루지 못한다. 이러한 데이터셋 바이어스는 현재의 접근 방식을 형성하고, 인식-추론 격차(Perception-Reasoning Gap)를 야기한다: 아티팩트 중심 모델은 저수준 통계적 불규칙성을 포착하지만 의미론적 추론이 부족하고, 비전-언어 모델은 의미론적 추론을 수행하지만 세밀한 포렌식 단서에 둔감하다. 이 격차를 해소하기 위해, 우리는 포렌식 인식과 의미론적 추론 간의 협력적 전문화를 가능하게 하는 다중 에이전트 프레임워크인 SafeGuard를 제안한다. 계층적 지각 솔버(hierarchical perceptual solver)가 세밀한 포렌식 증거를 추출하고, 자기 반성적 검증기(self-reflective verifier)가 의미론적 추론과 물리적 타당성 간의 일관성을 강제하여 해석 가능한 증거 체인을 형성한다. 평가를 지원하기 위해, 우리는 물리적 타당성, 구조적 일관성, 사회적 행동의 합리성을 평가하도록 설계된 10개 사회적 위험 범주에 걸쳐 2만 개의 비디오로 구성된 새로운 AI 생성 비디오 탐지 벤치마크인 SafeVid를 소개한다. 광범위한 실험을 통해 SafeGuard의 일반화 성능을 입증하였으며, SafeVid에서 정확도를 +18.7% 향상시키고 4개의 공개 벤치마크에서 기존 방법들을 지속적으로 능가하였다.
자연어로 카메라 움직임을 이해하는 것은 비디오 생성 모델의 학습 및 평가를 비롯한 다양한 응용 분야에서 매우 중요하다. 그러나 기존의 비전-언어 모델(VLM)이 이 과제에서 놀라운 방식으로 실패한다는 것을 우리는 입증한다. 구체적으로, 이동(translation)과 회전(rotation)을 혼동하거나, 좌우를 반대로 인식하거나, 객체의 움직임과 카메라의 움직임을 구분하지 못하는 오류가 빈번하게 발생한다. 이러한 한계를 해결하기 위해 우리는 자연어 카메라 움직임 이해를 독립적인 연구 과제로 정립한다. 우리는 2단계 영화 촬영 분류 체계(cinematographic taxonomy)와 실제 영상 및 합성 영상을 모두 포함하는 방대한 원자적(atomic) 벤치마크를 제시한다. 또한, 카메라 움직임 증강(augmentation)을 체계적으로 적용하여 강화한 대규모 다중 출처 학습 데이터셋을 구축한다. 파인튜닝된 VLM-8B는 우리 벤치마크의 실제 영상과 합성 영상에서 각각 Gemini 3.1 Pro를 10%, 11% 상회하는 성능을 보인다. 이러한 성과에도 불구하고 인간 성능과의 격차가 여전히 크게 남아 있어, 자연어 카메라 움직임 이해에 관한 향후 연구를 촉진하고 지원할 필요성이 강조된다.
실제 서비스에 AI 생성 영상 탐지기를 배포하려면 실제 콘텐츠를 잘못 거부하지 않기 위해 실제 영상에 대한 극도로 낮은 거짓 양성률(FPR)이 요구되며, 이는 AUROC와 같은 표준 지표가 실제 운영 동작을 반영하지 못하는 영역이다. 우리는 공간 패치 수준 비일관성 및 시간적 거칠기(SPLIT)를 소개한다. SPLIT은 동결된 비전 인코더의 패치 토큰에서 동작하는 학습 불필요(training-free) 탐지기로, 완전히 생성된 영상과 부분적으로 편집된 영상 모두를 탐지한다. SPLIT은 두 가지 상호 보완적 신호를 계산한다: 1단계 및 2단계 특징(feature) 변화 대비를 통해 비매끄러운 패치 궤적을 포착하는 2단계 시간적 거칠기(TTR, Two-step Temporal Roughness)와, 특징 공간 모션 필드의 그래디언트를 통해 공간적으로 비일관적인 시간 변화를 측정하는 지역 공간 모션 비일관성(LSMI, Local Spatial Motion Incoherence)이다. 두 신호는 엄격한 임계값에서 실제-가짜 구분을 선명히 하기 위해 감마 보정과 함께 곱셈 방식으로 융합된다. 우리는 또한 실제 영상만을 이용한 임계값 보정 및 교차 실제 임계값 전이를 적용하여 고정 FPR에서의 가짜 재현율(Fake Recall)에 기반한 서비스 정합 평가 프로토콜을 추가로 제안한다. 세 가지 벤치마크(FakeParts, GenVideo, ViF-Bench)에 걸쳐 SPLIT은 FPR = 0.1%에서 가장 높은 가짜 재현율을 달성하며, 지도 학습 및 학습 불필요 기반선 방법을 크게 상회하는 동시에 무시할 수 있는 오버헤드로 후처리에 강건성을 유지한다. 코드는 https://github.com/mldljyh/SPLIT 에서 공개적으로 이용 가능하다.
대규모 양자 간 상호작용 오디오-비주얼 다이얼로그(DIAD) 데이터셋은 휴머노이드 상호작용 가상 에이전트와 디지털 휴먼 개발을 위한 핵심 데이터 자원을 제공합니다. 그러나 이러한 데이터 수집은 시간이 많이 소요되고 비용이 높으며 윤리적으로 민감합니다. 이를 해결하기 위해, 우리는 단일 텍스트 프롬프트로부터 다양하고 쌍을 이루며 상호 반응하는 음성-얼굴 대화 클립을 생성하는 새로운 양자 간 상호작용 오디오-비주얼 다이얼로그 생성(DIADG) 프레임워크인 CHAT을 제안합니다. CHAT은 대규모 언어 모델(LLM)과 토킹 페이스 모델을 상호작용 오디오 및 안면 행동 정제 모듈과 통합하여, 다양한 콘텐츠와 안면 정체성을 갖춘 정렬된 양자 간 대화 클립 생성을 가능하게 합니다. 실험 결과, CHAT은 유사한 태스크를 위해 설계된 기존 관련 방법들을 객관적 및 주관적 평가 모두에서 능가합니다. 또한, 합성된 CHAT-AVD-50k 데이터셋은 다운스트림 인터랙티브 헤드 생성을 위한 효과적인 사전학습 데이터로 활용되어 REACT 2024에서 PerFRDiff와 ReactDiff를 일관되게 향상시킵니다. CHAT은 실제 양자 간 상호작용 데이터의 비용이 높고 윤리적으로 민감한 수집에 대한 확장 가능한 대안을 제공합니다.
현대의 이미지-텍스트-비디오 확산 모델은 참조 이미지와 텍스트 입력을 조건으로 초기 가우시안 노이즈 텐서를 반복적으로 노이즈 제거하여 매우 사실적인 비디오를 합성할 수 있다. 그러나 기존 접근법들은 단일 생성 프로세스 내에서 객체 모션과 카메라 모션 모두에 대한 정밀하고 통합된 제어 가능성이 여전히 부족하다. 우리는 확산 모델의 입력 노이즈를 직접 구성하여 객체 궤적과 카메라 시점을 동시에 제어할 수 있는 통합 프레임워크인 UniCaMo를 제안한다. 구체적으로, UniCaMo는 잠재 비디오 프레임 전체에 걸쳐 공유된 3D 기반 모션 일관성 노이즈 공간을 구축한다. 희소 3D 포인트 트랙을 사용하여 참조 프레임의 가우시안 노이즈를 원하는 객체 궤적을 따라 워핑하며, 가상 구면 노이즈 표현은 카메라 모션에 따라 새롭게 드러나는 장면 영역에 대해 전역적으로 일관된 노이즈 값을 제공한다. 지역적인 트랙 기반 노이즈 워핑과 전역적인 구면 기반 노이즈 샘플링을 결합함으로써, UniCaMo는 객체 이동과 시점 변화 모두에서 기하학적 및 시간적 일관성을 유지한다. UniCaMo는 입력 노이즈만을 수정하기 때문에 기반 비디오 확산 모델에 보조 어댑터, 제어 브랜치, 또는 아키텍처 변경이 필요하지 않다. Wan 2.1 (14B)을 포함한 대규모 사전학습 비디오 확산 모델에 경량 LoRA 미세조정을 적용하여, UniCaMo는 표준 제어 가능한 비디오 생성 벤치마크에서 비디오 품질과 모션 제어 가능성 모두에서 최고 성능을 달성한다.
3D 회전 위치 임베딩(3D RoPE)을 탑재한 DiT 기반 비디오 생성 모델에서, 어텐션 메커니즘은 시퀀스 길이에 대한 이차 복잡도로 인해 주요 연산 병목으로 남아 있다. 양자화된 FlashAttention은 하드웨어 가속화를 향한 유망한 경로를 제공하지만, 기존의 저비트 양자화 방법들은 이 설정에서 두 가지 핵심 과제를 간과한다: 1) 쿼리(Q)와 키(K)의 이상치를 완화하는 데 널리 사용되는 기법인 온라인 회전 행렬의 적용이 RoPE와 양립하기 어렵고; 2) 비음수 어텐션 행렬 $P = \exp(QK - \max(QK))$가 대칭 양자화로 하여금 4비트 동적 범위의 절반을 낭비하게 만든다. 본 연구에서 우리는 Q와 K의 이상치 분포가 3D RoPE의 차원 분할에 의해 크게 영향을 받음을 관찰하였다. 이 발견을 기반으로, 정확도에 민감한 어텐션 블록과 노이즈 제거 단계에 선택적 FP16 폴백을 사용하여 3D RoPE를 갖춘 DiT 기반 비디오 생성 모델에 맞춤화된 효율적인 혼합 정밀도 INT4 FlashAttention 프레임워크인 RotateAttention을 제안한다. RotateAttention은 두 가지 핵심 기법을 도입한다: 1) RoPE 인식 회전(RoPE-aware Rotation): RoPE에 융합 가능한 병합 가능 회전 행렬 또는 무시할 수 있는 오버헤드의 행렬을 활용하여 Q와 K에서 RoPE로 인한 이상치를 완화하고; 2) 범위 최적화 P 양자화(Range-optimized P Quantization): 최소한의 연산 오버헤드로 INT4 수치 범위를 완전히 활용하기 위해 고정 스케일과 영점을 사용한다. 실험 결과, RotateAttention은 최대 1.68×의 종단 간 속도 향상과 2.2×의 커널 수준 가속을 달성하면서 전체 정밀도 기준선과 거의 동일한 비디오 생성 품질을 유지함을 보인다.
범용 구현형 에이전트(embodied agent)는 멀티모달 지시를 이해하고, 환경이 어떻게 변화할지 예측하며, 긴 시간 범위에 걸쳐 정밀한 제어 행동을 생성해야 한다. 기존 접근법들은 대개 시각-언어 추론, 비디오 기반 월드 모델링, 또는 행동 생성 중 하나에 특화되어 있으며, 미래 관측을 먼저 합성한 뒤 행동을 추론하는 캐스케이드 파이프라인은 인터페이스 병목과 오류 누적을 야기할 수 있다. 우리는 비전(비디오 및 이미지), 언어, 행동을 단일 Omni 프레임워크 내에서 통합적으로 모델링하는 통합 멀티모달 파운데이션 모델 iFLYTEK-Embodied-Omni를 제안한다. 모달리티별 시각-언어, 비디오 생성, 행동 생성 컴포넌트는 공유된 멀티모달 셀프-어텐션을 통해 상호 소통한다. 이 설계는 뇌-소뇌 협업 구조를 구현한다: 시각-언어 모델(VLM)과 비디오 생성 모델(VGM)은 지시 이해, 태스크 계획, 진행 추적, 미래 시각 상태 예측을 담당하는 고수준 뇌를 형성하며, 행동 생성 모델(AGM)은 계획된 서브골과 공유 멀티모달 컨텍스트를 실행 가능한 행동 청크로 직접 변환하는 저수준 소뇌 역할을 한다. 이러한 능력을 개발하기 위해, 사람 시연 및 로봇 상호작용으로부터 수집한 행동 주석 포함·미포함 구현형 비디오를, 구현형 추론, 구현형 지각, 범용 이미지-텍스트 데이터와 결합하여 포괄적인 데이터셋을 구성하였다. 또한 VLM, VGM, AGM을 순차적으로 학습한 뒤 전체 모델을 공동 미세조정하는 4단계 학습 전략을 채택하였다.
NeoMap은 단일 이미지나 단안 비디오에서 새로운 시점의 비디오를 합성할 때, 사전학습된 비디오 모델을 재학습하거나 디노이징 과정을 수정하지 않고도 최적 초기 노이즈를 탐색하는 학습 불필요(training-free) 프레임워크를 제안한다. 수렴적 매니폴드 교번 투영(manifold alternating projection) 메커니즘을 핵심으로 하여, Tanks-and-Temples, LLFF, DAVIS 벤치마크에서 기존 모든 방법을 능가하는 최첨단 생성 충실도와 시점 일관성을 달성했다.
QWERTY는 사전학습된 이미지-to-비디오 비디오 확산 트랜스포머(DiT)에서 추가 학습 없이 유연한 모션 제어를 가능하게 하는 프레임워크로, 쿼리의 프레임 불변 의미론적 부분공간을 워핑하여 3D 전체 어텐션을 조작한다. 의미론적-시간적 채널 분해(STCD)를 통해 프레임 비일관성 문제를 해결하고, 쿼리 워핑 노이즈를 잠재 최적화의 자기 지도로 활용함으로써 기존 학습 없는 방법 중 최고 수준의 모션 제어 성능을 달성하며 파인튜닝 기반 방법에 근접한 결과를 보인다.
InterCMDM은 텍스트 조건부 두 사람 동작 생성에서 인과성 보존과 파트너 간 협응을 동시에 달성하기 위해, 각 사람별 인과 스트림을 분리 유지하면서 다중 태스크 어텐션 마스크로 상호작용을 모델링하는 블록-인과 잠재 디퓨전 프레임워크를 제안한다. InterHuman 및 Inter-X 벤치마크에서 최고 성능을 달성하며 텍스트-모션 정렬, 사실성, 장기 연속성을 향상시켰다.
사전학습된 텍스트-투-비디오 확산 트랜스포머를 문맥 내 컨디셔닝(In-Context Conditioning) 방식으로 적용한 ICDepth 프레임워크를 제안하며, 노이즈 오염을 방지하는 SAND-Attention과 DINOv2 기반의 기하학적 정밀도를 강화하는 SRFM을 핵심 구성요소로 도입했다. 경쟁 생성 모델 대비 6~13배 적은 80만 프레임만으로 학습하면서도 다수의 벤치마크에서 최고 성능을 달성하고, 야간·수중·안개 환경 등 다양한 도메인에 대한 강력한 제로샷 일반화를 입증했다.
단안(monocular) 비디오에서 관측된 뷰 너머의 미관측 영역까지 포함한 4D 장면 합성을 위해, 파노라마 궤적 패러다임으로 학습·추론 일관성을 확보하고 파노라마 표현을 동적 3D Gaussian Splatting으로 지식 증류하는 PanoGaussian을 제안한다. DyCheck, Nvidia, Kubric-4D 벤치마크 실험에서 PanoGaussian은 큰 시점 변화 하에서도 기하학적으로 일관된 4D 장면 합성을 달성함을 입증한다.
본 논문에서는 원시 동작을 컴팩트한 이산 토큰으로 변환하는 동작 이산 토큰화(motion discrete tokenization)에 초점을 맞춘다. 이 과정은 효율적인 동작 생성에 핵심적인 것으로 입증되어 있다. 이 패러다임에서 토큰 수를 늘리는 것은 동작 재구성 품질을 향상시키는 일반적인 접근법이지만, 토큰이 많아질수록 생성 모델의 학습이 어려워진다. 높은 재구성 품질을 유지하면서 생성 복잡도를 줄이기 위해, 우리는 언어를 활용하여 효율적인 동작 토큰화를 달성하는 방법인 언어 유도 토큰화(LG-Tok, Language-Guided Tokenization)를 제안한다. LG-Tok은 토큰화 단계에서 자연어와 동작을 정렬하여 컴팩트하고 고수준의 의미적 표현을 생성한다. 이 접근법은 토큰화 및 역토큰화(detokenization) 모두를 강화할 뿐만 아니라 생성 모델의 학습을 단순화한다. 또한, 기존 토크나이저는 대부분 합성곱 아키텍처를 채택하는데, 이는 지역적 수용 영역(local receptive field)으로 인해 전역적 언어 유도를 지원하기 어렵다. 이를 위해, 우리는 어텐션 메커니즘을 활용하여 언어와 동작 간의 효과적인 정렬을 가능하게 하는 트랜스포머 기반 토크나이저를 제안한다. 아울러, 학습 중 언어 조건을 무작위로 제거하는 언어 드롭(language-drop) 기법을 설계하여, 역토크나이저가 생성 시 언어 없이도 동작할 수 있도록 한다. HumanML3D 및 Motion-X 생성 벤치마크에서 LG-Tok은 각각 Top-1 점수 0.542와 0.582를 달성하여 최신 방법(MARDM: 0.500 및 0.528)을 능가하며, FID 점수는 각각 0.057과 0.088로 기존의 0.114 및 0.147 대비 우수한 성능을 보인다. LG-Tok-mini는 절반의 토큰만 사용하면서도 경쟁력 있는 성능(Top-1: 0.521/0.588, FID: 0.085/0.071)을 유지하여, 우리의 의미적 표현의 효율성을 검증한다. 코드 및 체크포인트는 https://eanson023.github.io/LG-Tok/ 에서 이용 가능하다.