최근 영상 생성 모델(VGM)은 시각적 충실도(visual fidelity)에서 상당한 진전을 이루었지만, 긴 조합적(compositional) 지시를 따르는 능력은 아직 충분히 평가되지 않고 있다. 기존 평가 프로토콜은 종종 짧고 의미적으로 얕은 프롬프트에 의존하며, 원자적(atomic) 제약이 제한적이고 시공간적 의존성이 약하다. 또한 이들은 비용이 많이 드는 인간 평가나 수작업형(handcrafted) 비전 파이프라인에 자주 의존하면서, 어떤 지시 제약이 성공하거나 실패하는지에 대한 진단적 통찰을 거의 제공하지 않는다. 이 공백을 해소하기 위해, 우리는 영상 생성에서 지시 따르기를 평가하는 고도로 자동화되고 해석 가능한 프레임워크인 VGIF-Score를 제안한다. VGIF-Score는 두 가지 상호 보완적인 구성 요소로 이루어진다: 프롬프트를 시공간 방향성 비순환 그래프(ST-DAG)로 파싱하고 단락(short-circuit) 진단을 통한 의존성 인식 QA를 수행하는 객관적 완료 분기(objective completion branch), 그리고 영화 촬영 기법(cinematography), 시각적 순도(visual purity), 모션 부드러움(motion smoothness), 물리법칙 준수(physics adherence)를 평가하기 위해 지시 조건부(instruction-conditioned) AutoRubric을 사용하는 주관적 만족 분기(subjective satisfaction branch)이다. 이러한 구성 요소들은 함께 객관적 완료와 지각적 만족도(perceptual satisfaction)를 모두 포착하는 통합 점수를 생성한다. 우리는 이 프레임워크를 VGIF-Bench에 구현한다. VGIF-Bench는 223개의 긴 구조적으로 얽힌(structurally entangled) 프롬프트와 약 4.3K개의 세밀한(fine-grained) 평가 항목이 짝을 이루는 벤치마크이다. 14개의 독점 및 오픈소스 VGM에 대한 3K개 이상의 생성 영상에 걸친 실험은 VGIF-Score가 영상 생성 지시 따르기에 대해 신뢰할 수 있고, 해석 가능하며, 진단적으로 유용한 평가를 제공함을 보여준다. 코드는 https://github.com/PRIS-CV/VGIF-SCORE 에서 제공될 예정이다.
음악 시각화는 청각 신호를 시각적 형태로 변환함으로써 청취자의 음악 이해와 경험을 향상시키는 강력한 방법을 제공한다. 그러나 기존 방법의 대부분은 가사에 과도하게 의존하거나 일반적인 뮤직 비디오와 유사한 평면적이고 몰입형이 아닌 비디오를 생성하여, 음악의 감정적 역동성을 전달하고 몰입형 청취 경험을 제공하는 능력을 제한한다. 우리는 음악 기반 360° 비디오 생성을 위한 감정 인식 파이프라인인 Bring Music The Horizon을 제안한다. 입력 곡이 주어지면, 우리 방법은 먼저 매 4마디(bar) 단위로 valence-arousal 값을 예측하여 감정 궤적을 추정한다. 이 값들은 EmotiCrafter를 사용하여 감정 인식 시각적 가이던스로 변환되며, 키프레임 생성에 대한 세밀한 의미론적 제어를 제공하는 SEGA 프레임워크를 통해 이 가이던스 벡터를 조작할 수 있다. 마지막으로, 생성된 키프레임에 이미지-투-비디오(image-to-video) 모델을 적용하여 몰입형 음악 시각화를 위한 시간적으로 연속적인 360° 비디오를 합성한다. 우리 파이프라인은 입력 곡의 감정 진행과 시간적 구조를 반영하는 360° 음악 시각화 비디오를 생성한다. 다양한 장르의 곡을 사용하여 그 기능을 시연하고, 오디오-투-비디오 생성 기준선인 From-Sound-To-Sight와의 정성적 비교를 https://etoile-et-toi-mp3.github.io/BMTH_Project_Page/ 프로젝트 페이지에서 제공한다.
생성 모델의 최근 발전과 기술 혁신은 캐릭터 이미지 애니메이션의 근본적인 과제를 상당히 해결해 왔다. 그러나 기존 접근법은 주로 단일 참조 이미지로부터의 캐릭터 애니메이션에 초점을 맞추고 있어, 다중 캐릭터 상호작용 애니메이션과 같은 시나리오에서의 적용 가능성을 크게 제한한다. 이 공백을 메우기 위해 본 논문은 MultiAnimate를 제안한다. MultiAnimate는 공유 환경 내에서 다중 캐릭터의 동시 애니메이션을 가능하게 하면서 정체성 일관성과 공간적 관계를 모두 보존하는 포괄적인 프레임워크이다. 이 프레임워크는 여러 잘 설계된 메커니즘을 통해 이러한 목표를 달성한다. 첫째, 정체성별 reference net을 도입하여 다중 참조 이미지로부터 외형 추출을 가능하게 하며, 이는 단일 참조 입력에 제한된 기존 접근법과 MultiAnimate를 구별한다. 둘째, 캐릭터-포즈 바인딩(character-pose binding) 문제를 해결하기 위해 정체성 인식 포즈 인코더를 구현한다. 여기서 어텐션 메커니즘이 생성 과정에서 네트워크가 다중 포즈 시퀀스를 정확히 구분하고 처리할 수 있게 한다. 셋째, 캐릭터별 마스크 정보를 활용하여 복잡한 캐릭터 간 상호작용을 처리하는 프레임워크의 능력을 향상시키는 interaction guider 모듈을 도입한다. 이는 포즈 시퀀스를 정제하는 선택적 구성 요소로 작동한다. 광범위한 실험과 ablation 분석은 프레임워크가 다중 캐릭터 애니메이션, 특히 복잡한 모션 시퀀스를 포함하는 시나리오에서 우수함을 보여준다.
최근 확산 기반 영상 생성 모델은 영상 확산 모델을 미세조정하는 미세조정 기반 파이프라인과 image-to-video 생성과 같은 참조 기반 파이프라인 모두를 통해 고품질 개인화 영상 맞춤화를 가능하게 하였다. 그러나 이러한 기능은 개인 프라이버시, 신원 소유권, 지적재산권 보호에 대한 심각한 우려를 불러일으킨다. 기존 반(anti) 맞춤화 연구는 이미지 보호에 초점을 맞추고 있으며, 참조 기반 및 미세조정 기반 맞춤화 모두에 대한 영상 보호는 여전히 대부분 탐구되지 않은 상태로 남아 있다. 이러한 설정에서 영상을 보호하는 것은 세 가지 과제를 제기한다: (i) 프레임 단위로 최적화되는 이미지 수준 섭동은 3D 영상 VAE의 시간적 압축을 견디지 못한다. (ii) 단일 영상에서 최적화된 영상 수준 섭동은 시간적 편집에 취약하며 보지 못한 영상을 보호하지 못한다. (iii) 시간적으로 일관되지 않은 섭동은 시간적 공격에 강건하지 않다. 이러한 과제를 해결하기 위해, 우리는 참조 기반 및 미세조정 기반 영상 맞춤화 모두에 대한 최초의 보호 방법인 시간적으로 일관된 범용 적대적 섭동(TC-UAP, Temporally Consistent Universal Adversarial Perturbations)을 제안한다. TC-UAP는 다중 영상의 슬라이딩 윈도우에 걸쳐 신원(identity) 수준의 다중 프레임 UAP를 최적화하며, 영상 VAE의 시간적 압축으로 유발되는 국소적 시간적 의존성을 고려하고 단일 섭동으로 다양한 길이의 보지 못한 영상을 보호할 수 있게 한다. 또한, 내재적(intrinsic) 시간적 모델링과 외재적(extrinsic) 대리(surrogate) 시간-공격 손실을 도입하여, 섭동이 시간적으로 일관되도록 하고 보지 못한 시간적 공격에 강건하게 만든다. 실증적으로, 정량적 및 정성적 결과는 TC-UAP가 참조 기반 및 미세조정 기반 영상 맞춤화 모두에서 기존 방법 대비 가장 강력한 신원 보호를 달성하며, 다수의 보지 못한 시간적 공격 하에서도 강건함을 유지함을 보여준다.
최근 3D 생성의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산(diffusion) 감독에 의존하는 경우가 많아, 중복된 구조나 어긋난 기하학과 같은 공간적 환각을 유발한다. 4D 생성에서는 시점과 시간적 진화에 걸친 일관성 유지가 추가적인 도전을 불러오며, 여기에는 지터(jitter), 정체성 깜빡임(identity flicker), 구조적 드리프트(structural drift) 등이 포함되어 이러한 문제가 더욱 심각해진다. 우리는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델 불가지(model-agnostic) 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-보정(generation-detection-correction) 패러다임을 도입하며, 대규모 멀티모달 언어 모델(LMM)을 활용하여 다중 시점(multi-view) 및 다중 프레임 렌더링으로부터 공간적·시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 이끌며, LMM 기반 선택기가 다중 모델 투표를 통해 후보 보정을 평가하고, 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율을 더욱 향상시키기 위해 Hallo4D는 모션 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 어려운 시점에서의 견고성을 높이기 위해 노출 인식 최적화와 가시성 가지치기를 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 베이스라인을 지속적으로 능가함을 보여주며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 해법을 제공한다.
최근 텍스트-투-비디오(T2V) 확산 모델은 생성된 콘텐츠를 인간의 미적 기준에 정렬하고 현실감을 높이기 위해 보조 보상 신호(예: 보상 모델 또는 DPO)에 크게 의존한다. 그러나 이러한 신호는 상당한 계산 오버헤드를 발생시키고, 비용이 큰 인간 어노테이션을 요구하며, 세밀한 국소 디테일에서는 종종 제한적인 개선만을 낳는다. 본 논문에서는 데이터 매니폴드가 비밀리에 보상 모델이라는 점을 주장한다. 고품질 지도 미세조정(SFT) 데이터의 매니폴드 구조를 명시적으로 모델링하고 비디오 잠재 표현이 이 매니폴드 위에 놓이도록 유도함으로써, 밀집적이고 미분 가능하며 거의 비용이 들지 않는 보상 신호를 도출하여, 특히 저수준 왜곡을 완화하는 데 있어 비디오 품질을 크게 향상시킨다. 우리의 모델링은 매니폴드의 '골격(skeleton)'을 포착하는 지역 좌표 코딩(Local Coordinate Coding, LCC)을 기반으로 한다. 그러나 LCC를 직접 적용하면 평균 회귀(mean regression) 문제가 발생하여 잠재 표현이 기하학적 평균으로 끌려가 고주파 디테일을 잃게 된다. 따라서 이를 Shell Local Coordinate Coding(Shell-LCC)으로 확장하는데, 이는 매니폴드 '표면(surface)'을 등방성 셸(isotropic shell)로 모델링하여 실제 고밀도 영역과 정렬한다. 실험 결과, 제안 방법은 현실감을 향상시키고, 고주파 디테일을 강화하며, 과도한 스무딩 아티팩트를 줄이고, 모션 블러를 완화함을 보여준다.
시각적으로 일관된 멀티샷 영상을 생성하는 것은 여전히 미해결 과제이다. 영상에 포함되는 샷이 많아질수록 샷 간 불일치가 누적되어, 여러 샷에 걸쳐 재등장하는 엔티티—캐릭터, 사물, 장소—가 처음 등장했을 때의 모습에서 점점 벗어날 수 있다. 우리는 시청자가 각 엔티티의 이후 등장을 그 엔티티의 첫 번째 선명한 등장과 비교하여 일관성을 판단한다는 점을 관찰했다. 이 최초 등장의 시각적 품질이 이후 모든 장면에 대한 일관성의 상한을 결정한다. 이에 영감을 받아, 우리는 엔티티 그라운딩 기반 멀티샷 생성을 위한 학습 불필요(training-free), 모델 독립적(model-agnostic) 에이전트(agent) 프레임워크인 \textbf{GroundShot}을 제안한다. GroundShot은 수락된 생성 샷으로부터 엔티티 수준의 시각적 메모리를 온라인으로 구축한다: 엔티티 참조로서의 기대 유용성에 따라 샷 생성 순서를 스케줄링하고, 생성된 영상에서 엔티티를 그라운딩하며, 메모리에 추가하기 전에 그 신뢰성을 검증하고, 각 샷 생성 전에 메모리에서 적합한 엔티티 참조를 검색한다. 이러한 엔티티 중심의 일관성 관점을 평가하기 위해, 우리는 제어된 도전 차원을 분리하면서 엔티티 수준에서 일관성을 측정하는 진단 벤치마크 \textbf{GroundBench}를 추가로 도입한다. 실험 결과, GroundShot은 추가 학습이나 모델 수정 없이도 기존 방법 대비 멀티샷 일관성을 향상시킨다.
디퓨전 U-Net의 공격적인 지식 증류(distillation)는 실시간 텍스트-이미지 파이프라인의 프레임당 병목을 역전시킨다. 디노이저(denoiser)가 4단계 또는 1단계 증류 학생 모델이 되면 텍스트 인코더가 크리티컬 패스(critical path)가 된다. 이 역전은 인코더가 멀티모달 대규모 언어 모델(MLLM)인 비전 인식 편집 디퓨전(vision-aware edit diffusion)에서 가장 두드러진다. 우리는 2.13B MLLM 텍스트 인코더(Qwen3-VL)와 짝을 이루는 0.39B 증류 편집 U-Net을 연구하고, 인코더를 축소하는 대신 디노이저의 크리티컬 패스에서 인코더를 분리하는 세 가지 메커니즘에 기반한 이 체제를 위한 스트리밍 파이프라인을 제시한다: 배치 텍스트 인코더 상각화(batched text-encoder amortisation)를 갖춘 비대칭 사이드 스트림/메인 스트림 CUDA 파이프라이닝, 전체 U-Net + 어댑터 스택을 하나의 융합 그래프로 접는 컴파일 친화적 ControlNet-LLLite 재공식화, 프레임당 조건화 비용을 상각화하는 훅 부분집합을 갖춘 주기적 조건 갱신 스케줄. 단일 소비자용 RTX 3090 Ti에서 512x512 해상도로 480프레임 실행 동안 27-30 fps를 유지하며, 동일한 운영 지점에서 정상 상태 처리량은 RTX 4090에서 55 fps, RTX 5090에서 74 fps로 확장된다. 이는 증류가 충분히 공격적이면 추가 이득은 디노이저 추가 압축이 아니라 인코더 측 시스템 작업에서 나온다는 것을 보여준다—지금까지 스트리밍 디퓨전 문헌이 최적화해 온 레버와는 반대이다. 우리는 대화형 저지연이 아닌 비디오 속도 스트리밍 처리량을 보고하며, 우리의 수치를 동일 스택 StreamDiffusion 재실행과 대조하여 시스템 맥락으로 배치하되 우월성 주장은 하지 않는다. 공개된 유화(oil-painting) 어댑터는 클립 내 노이즈 범위 내에서 19개의 미사용 DAVIS-2017 시퀀스와 7개 출처의 15개 비-DAVIS 클립으로 일반화되며, 보지 못한 스타일에 대한 프롬프트 수준 일반화는 제한적이며 별도로 보고된다.
비디오 확산 트랜스포머(vDiT)는 고품질 비디오를 생성하지만, 긴 확산 타임스텝과 셀프 어텐션(self-attention) 연산으로 인해 매우 높은 연산 비용을 초래한다. 확산 타임스텝이 줄어들수록 셀프 어텐션의 연산 비용이 지배적인 병목이 된다. 기존 가속화 접근법은 대규모 언어 모델(LLM)의 희소 어텐션(sparse attention) 기법을 대부분 그대로 차용하여, 비디오 데이터의 고유한 시공간(spatiotemporal) 상관관계를 고려하지 못한다. 본 논문은 잠재 공간(latent space)의 채널별(channel-wise) 시공간 상관관계를 활용하여 vDiT의 모든 연산을 가속하는 알고리즘-하드웨어 공동 설계 Kaleido를 제안한다. 이 통찰에 기반하여, 부분 결과를 재사용함으로써 중복 연산을 건너뛰는 경량 채널별 재사용 알고리즘을 제안하며, 기존 방법보다 더 높은 생성 품질(>17 dB)을 유지한다. 이 알고리즘을 효율적으로 지원하기 위해, 재구성 가능한 처리 요소(processing element)와 경량 데이터 디스패처(data dispatcher)를 갖춘 systolic array 유형의 가속기를 설계하여, 재사용 알고리즘이 도입하는 불규칙한 희소성(sparsity)과 데이터 접근 패턴을 완화한다. 세 가지 주류 vDiT 모델에 대한 평가 결과, Kaleido는 최신(state-of-the-art) 가속기 대비 최대 5.9배 속도 향상과 16.0배 에너지 절감을 달성한다.
변형 가능 객체를 시뮬레이션하는 것은 다양한 로봇 조작(manipulation) 응용에서 필수적이지만, 그 동역학을 정확히 예측하는 것은 여전히 어렵다. 우리는 물리 기반 및 학습 기반 접근법의 장점을 결합하는 하이브리드 시뮬레이션 프레임워크인 물리 유도 잔차 동역학(Physics-Guided Residual Dynamics, PGRD)을 제안한다. 구체적으로, PGRD는 최적화 가능한 스프링-질량(simulator) 시뮬레이터를 백본으로 사용하고, 물리 기반 예측에 대한 잔차 보정(residual correction)을 예측하는 학습된 신경망을 결합한다. 우리는 안정적인 시뮬레이션을 위해 속도 기반 공식화(velocity-based formulation)를 채택하고, 시간적 의존성을 포착하기 위해 슬라이딩 윈도우(sliding-window) 트랜스포머 아키텍처를 사용한다. PGRD가 다양한 실세계 변형 가능 객체에 대해 순수 물리 기반 및 학습 기반 방법 모두보다 더 정확한 결과를 생성함을 보인다. 또한 PGRD의 유용성을 두 가지 응용에서 입증한다: 생성된 목표 이미지를 포함한 언어 조건(language-conditioned) 설정에서의 모델 예측 제어(Model Predictive Control, MPC)를 통한 조작 계획(manipulation planning), 그리고 3D Gaussian Splatting을 통한 행동 조건(action-conditioned) 비디오 예측에 의한 대화형 시뮬레이션.
한 공이 다른 공에 충돌한 뒤 또 다른 공에 충돌할 때, 비디오 모델은 각 튕김의 결과를 예측해야 한다. 다중 공 경질 구체(hard-sphere) 역학에 대한 통제 실험에서, 표준 양방향 비디오 확산의 성능은 인과 연쇄가 길어질수록 저하되며, 디노이징(denoising) 단계를 더 부여해도 마찬가지이다. 공-공 상호작용이 없는 길이 일치 단일 공 대조군에서는 이러한 저하가 대부분 사라져, 원인이 비디오 길이가 아닌 의존적 사건 구조에 있음을 분리한다. 개입 연구 전반에서, 자기회귀(autoregressive) 및 블록 단위(blockwise) 생성과 아키텍처 깊이 등 유효 직렬 연산을 늘리는 방법이 성능 개선 효과가 특히 두드러진다. 우리는 이 패턴을 직렬성 격차(seriality gap)로 규명한다: 증가하는 직렬 연산을 요구하는 과제와, 디노이징 루프가 확장 가능한 직렬 연산을 제공하지 않는 비디오 확산 모델 사이의 불일치이다. 이어서 결정론적 비디오 예측에 대해 디노이징 단계가 백본(backbone)을 넘어 직렬 연산을 추가하지 않음을 증명하며, 이는 직렬 추론 및 시뮬레이션 과제에서 비디오 확산이 구조적 장애에 직면함을 나타낸다.
월드 액션 모델(WAM)은 사전학습된 비디오 생성기를 월드 모델링과 액션 예측 모두에 활용할 수 있다. 그러나 이러한 비디오 생성기를 제어에 직접 활용하면 새로운 과제가 생긴다. 즉, 사전학습된 비디오 생성기와 정렬되면서도 정확한 제어에 필요한 충분한 모션 단서를 담을 수 있는 적절한 형태로 액션을 어떻게 표현할 것인가이다. 기존의 수치적 액션 표현은 전자를 만족시키지 못하고, 기존의 시각적 액션 표현은 프레임에 걸친 시간적 모션 구조를 간과한다. 우리는 광학 흐름(optical flow)을 통합적이고 비디오 네이티브한 액션 표현으로 채택하는 이중 스트림 diffusion 프레임워크인 FlowWAM으로 이 문제를 해결한다. 플로우 비디오는 RGB 비디오와 동일한 형식을 공유하며 픽셀 단위의 풍부한 변위를 인코딩한다. 공유 사전학습 비디오 생성기 내에서 이들을 공동 모델링함으로써 FlowWAM은 WAM의 두 가지 모드를 자연스럽게 구현할 수 있다. 정책 모드에서는 FlowWAM이 액션 예측을 위해 flow를 생성하고, 월드 모델 모드에서는 목표 flow 시퀀스를 사용해 미래 비디오 생성을 유도한다. 또한 flow는 액션 레이블 없이 원시 비디오에서 쉽게 추출할 수 있으므로 FlowWAM은 사전학습에 대규모 액션 미레이블 비디오 데이터셋을 활용할 수 있다. 실험 결과, flow 기반 액션 표현이 두 모드 모두에서 성능 향상을 가져온다. RoboTwin 조작 작업에서 FlowWAM은 Clean 설정에서 성공률 92.94%, Random 설정에서 92.14%를 달성하여 VLA 및 WAM 베이스라인을 모두 능가한다. WorldArena 월드 모델링에서는 종합 EWMScore 63.71로 최고 성능을 기록했으며 궤적 정확도에서 18.4%의 상대적 향상을 보였다. 추가 결과는 프로젝트 웹사이트에서 확인할 수 있다: https://flow-wam.github.io .
본 논문에서는 키보드 입력으로 The King of Fighters '97(KOF~'97)의 실시간 2인 대전 게임플레이를 시뮬레이션하는 생성형 게임 엔진 WanToFight를 제안한다. 기존 생성형 게임 엔진은 단일 플레이어 1인칭 설정이거나 비실시간 협력 시나리오를 대상으로 했으며, 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 함께 다룬 사례는 없었다. WanToFight는 Wan-1.3B 비디오 확산 트랜스포머를 기반으로 한 세 가지 구성 요소로 이 격차를 메운다: 블록 인과(block-causal) 어텐션과 롤링 KV 캐시를 갖춘 스트리밍 자기회귀 생성기, 각 플레이어의 키보드 신호를 캐릭터 정체성에 연결하는 시각적 그라운딩 기반 Player Association 모듈, 단일 플레이어에서 전체 게임플레이로 이어지는 커리큘럼으로 학습된 게이트형 국소 인과 키보드 주입 모듈. 4단계 DMD 증류(distillation) student와 가지치기(pruned)된 VAE 디코더를 결합하면, 단일 NVIDIA RTX 5090에서 완전한 한 경기 동안 512×384 해상도로 30FPS를 유지한다. 알고 있는 한 WanToFight는 하나의 시스템에서 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 결합한 최초의 생성형 게임 엔진이다.
본 논문은 자연어 텍스트부터 완전히 주석이 달린 다중 행위자(multi-actor) 비디오까지 이르는 완전한 시스템인 GEST-Engine을 제시한다. 핵심에는 명시적 월드 모델(explicit world model)이 있다. 상태를 학습된 잠재 표현(learned latent)으로 인코딩하는 대신, 엔진은 세계의 완전하고 검사 가능한 표현—어떤 행위자가 존재하는지, 어디에 있는지, 무엇을 하고 있는지, 어떤 물체를 들고 있는지, 이벤트가 시간과 공간에서 어떻게 연관되는지—을 유지하며, 이를 공간과 시간 속 이벤트 그래프(Graph of Events in Space and Time, GEST)로 형식화하여 표현하고, 오픈소스 멀티플레이어 스크립팅 프레임워크를 통해 구동되는 상용 게임 엔진의 개방형 세계 안에서 결정론적으로 구현한다. GEST는 절차적 방식으로 생성되거나, 대규모 언어 모델(LLM) Director가 프로그램적 상태 백엔드에 의해 검증된 도구 호출을 통해 이야기를 계획하는 에이전트형(agentic) text-to-GEST 시스템을 통해 생성되므로, 생성된 모든 명세는 구성상(by construction) 실행 가능하다. GEST는 이후 4단계 실행 파이프라인—그래프 파싱 및 검증, 엔티티 및 액션 그라운딩(grounding), 시간적 오케스트레이션(Allen 스타일 제약을 Floyd-Warshall 전이 폐쇄로 해결), 실행 및 캡처—에 진입한다. 단일 시뮬레이션 패스에서 엔진은 프레임 정렬 RGB 비디오, 픽셀 단위 밀집 깊이(dense per-pixel depth), 인스턴스 분할(instance segmentation), 행위자별 스켈레톤 포즈, 프레임별 쌍방 공간 관계 그래프, 2D 경계 상자(bounding box), 이벤트-프레임 시간 매핑, 자연어 설명을 모두 출력하며, 이 모든 것의 한계적 주석 비용은 0이다. 또한 게임 내 월드 에디터, 런타임 역량 추출, 텍스트 생성 파이프라인, 병렬 가상 머신에 걸쳐 대규모로 코퍼스를 렌더링하는 프로덕션 시스템을 설명한다. 모든 프레임이 의미론적 명세에 역추적되기 때문에, 엔진은 구성상 물체 영속성(object permanence), 다중 행위자 조율, 시간적 일관성을 보장하며, 이로 인해 출력은 비디오 이해를 위한 학습 데이터, 평가 벤치마크, 진단 도구로서 가치가 있다.
시각 생성은 텍스트-이미지/비디오 합성에서 다중모달 인터랙티브 창작에 이르기까지 다양한 영역에서 점점 더 보편화되고 있다. 그러나 지배적인 단일 통합 모델들은 누적적으로 학습하고 자율적으로 진화하지 못한다는 근본적 제약에 여전히 묶여 있으며, 이는 우리가 "영구 초보(perpetual novice)" 문제라 부르는 한계이다. 이들은 경험을 재사용 가능한 지식으로 구조화하는 메커니즘을 갖추지 못해, 각 작업마다 취약한 "처음부터(from-scratch)" 추론에 의존하게 되고, 이로 인해 합성 일반화(compositional generalization)가 부족하고 지식 보존이 비효율적이다. 이러한 한계에 동기를 얻어, 우리는 Symbolic Concept Learning을 통해 누적적 진화를 위해 설계된 에이전트형 옴니 모델 SymbOmni를 제안한다. 그 핵심은 저수준 연산을 재사용 가능한 Symbolic Workflow Instructions로 추상화하는 최적화 가능한 메모리 모듈인 Symbolic Concept Box이다. SymbOmni는 귀납(induction)-변환(transduction) 주기를 통해 동작한다: 경험은 기호적 개념으로 추상화되고(귀납), 이후 새로운 작업을 해결하기 위해 적응적으로 조합된다(변환). 학습은 그래디언트 기반 모델 미세조정 없이 지속적인 자기 개선을 가능하게 하기 위해 언어 기반 피드백을 활용한 verbalized backpropagation으로 수행된다. 포괄적인 실험을 통해 (I) SymbOmni가 반복적 창작을 위한 기존 에이전트 기반 시스템을 크게 능가하며, 이미지 품질과 작업 성공률 모두에서 클로즈드 소스 모델(예: Nano Banana, GPT-Image-1)을 또한 상회함을 검증했다; (II) SymbOmni는 경쟁력 있는 생성 품질을 유지하면서 토큰 소비를 40% 이상 효과적으로 절감한다; 그리고 (III) SymbOmni는 여러 온라인 학습 벤치마크에서 누적적 향상을 달성하고 새로운 최첨단(state of the art) 수준을 설정함으로써 효과적인 지속 학습(continual learning)을 가능하게 한다.
우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.
영상 확산 모델의 급속한 발전으로 사실적인 영상 생성이 가능해지면서 무단 사용에 대한 우려가 커지고, 모델 소유권을 보호하는 기법에 대한 수요가 증가하고 있다. 기존 워터마킹 방법은 두 가지 핵심 한계를 가진다. 기존 워터마크 디코더로 인해 시간적 일관성을 간과하고, 생성된 영상의 시각적 품질을 저하시킨다. 이러한 문제를 해결하기 위해, 우리는 Latent Video Diffusion Watermarking(LVMark)이라는 잠재 영상 확산 모델용 강건한 워터마킹 방법을 제안한다. 생성된 영상에 맞춘 새로운 워터마크 디코더를 제안하며, 이는 인접 프레임 간의 일관성을 학습한다. 3차원 웨이블릿 도메인의 저주파 성분과 영상의 색상 특징을 결합하여, 악의적 공격 하에서도 정확한 메시지 디코딩을 보장한다. 또한 생성된 영상의 시각적 충실도를 유지하기 위해 잠재 디코더를 학습한다. 중요도 기반 가중치 변조 전략을 사용하여 시각적 외관에 미치는 영향을 최소화하는 계층에 워터마크를 삽입한다. 확산 모델의 워터마크 디코더와 잠재 디코더를 모두 최적화하여 시각적 품질과 비트 정확도 사이의 트레이드오프를 효과적으로 균형 있게 맞춘다. 실험 결과, 우리 방법은 영상 확산 모델에 보이지 않는 워터마크를 삽입하며, 왜곡 하에서도 512비트 용량으로 강건한 디코딩 정확도를 보장함을 보여준다.
자기회귀 확산 모델은 고품질 비디오 생성을 가능하게 했지만, 순차적 특성으로 인해 본질적으로 오류 누적 문제를 겪는다. 장기(long-horizon) 비디오 합성에서 미세한 예측 편차가 시간이 지남에 따라 복합적으로 누적되어, 제약 없는 생성 드리프트(generative drift), 구조적 붕괴, 심각한 시각적 열화를 필연적으로 초래한다. 이를 해결하기 위해, 우리는 안정적이고 시간적으로 일관된 장기 비디오 생성을 위해 설계된 새로운 프레임워크인 Cycle-World를 제안한다. 우리의 접근법은 학습 및 추론 단계 모두에 걸쳐 엄격한 시간적 가역성을 강제함으로써 오류 드리프트를 해결한다. 이론적으로, 우리는 순방향 생성 드리프트가 순환 일관성(cycle-consistency) 목적함수에 의해 엄격하게 병목될 수 있음을 증명한다. 학습 중에는 효율적인 역방향 예측 모델을 통합하여 순방향 생성기에 인과적 제약을 암묵적으로 내재화하고, 이를 통해 자연 비디오 매니폴드에 밀접하게 부합하는 가역적 시퀀스를 생성하도록 강제한다. 추론 시에는 이 고정된 역방향 모델을 런타임 보정기로 재활용한다. 그래디언트 기반 순환 가이던스를 통해 생성된 잠재 표현(latent representation)을 반복적으로 정제하여, 누적된 오류가 히스토리 컨텍스트에 반영되기 전에 적극적으로 억제한다. VBench 벤치마크에서의 광범위한 실험을 통해, Cycle-World의 이중 단계 시너지가 오류 드리프트를 크게 완화하여 60초 합성에서 최첨단 전반적 생성 품질과 장기 시간적 일관성을 달성함을 입증한다.
본 연구는 한 영상에서 다른 영상으로의 모션 전이(motion transfer)를 탐구하며, 이는 다양한 캐릭터 애니메이션에서 핵심적인 기술이다. 기존에는 비디오 모션 전이가 주로 인간과 인간형 캐릭터 간에 연구되어 디지털 창작 분야에서 다양한 응용을 가능하게 했다. 그러나 이러한 접근법에는 주요 한계가 존재한다. 구체적으로, 관련 기술 파이프라인은 사전 정의된 인간 골격 구조에 크게 의존하며, 이에 따라 골격 조건부 모델 학습이 필요하다. 한편으로는, 이러한 방법들이 서로 다른 종의 동물과 같이 다양한 캐릭터로 일반화하면서 고유한 모션 스타일을 보존하기 어렵다. 다른 한편으로는, 다양한 골격에 대한 레이블 데이터가 부족하여 해당 태스크의 대규모 학습이 추가로 제한된다. 본 논문에서는 골격 기반 모션 전이 프레임워크에서 벗어나, Motion4Motion이라는 학습이 필요 없는(training-free) 모션 전이 프레임워크를 제안한다. Motion4Motion은 골격 대신 영상 내 캐릭터의 모션 흐름(motion flow)을 모델링함으로써 종(species) 간 모션 전이를 더욱 용이하게 한다. 광범위한 실험 결과와 새로운 응용 사례를 통해 제안하는 방법이 기준선(baseline) 대비 인상적인 성능 향상을 보임을 확인하였다. 프로젝트 페이지는 https://lhchen.top/Motion4Motion에서 확인할 수 있다.
디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 고품질의 시간적으로 일관된 결과로 비디오 생성을 발전시켰다. 그러나 목표 프롬프트에 맞추면서 참조 모션을 따르는 모션 전이(motion transfer)로 이를 확장하는 것은 DiTs 내 모션 및 구조 표현에 대한 이해가 부족하여 여전히 어려운 과제이다. 우리는 비디오 DiTs를 어텐션 헤드 수준에서 분석하고, 모션과 공간 구조에 각각 특화된 별개의 헤드를 식별한다. 이러한 통찰을 바탕으로, 매개변수 업데이트가 필요 없는 헤드 인식 제어 가능 모션 전이 프레임워크를 제안한다. 제안하는 방법은 의미론적 대응 안내를 통해 모션 특화 헤드에서 모션 단서를 정제하고, 선택적 특징 주입을 통해 구조를 보존한다. 이 헤드 수준 제어는 정확한 모션 전이를 가능하게 할 뿐만 아니라, DiTs를 활용한 제어 가능한 비디오 생성을 위한 해석 가능한 기반을 제공한다.