미세표정 인식은 기존 데이터셋의 소규모, 좁은 인구통계학적 범위, 제한된 감정 레이블로 인해 한계가 있다. 우리는 AU 기반 이미지-투-비디오 생성으로 구축된 합성 미세표정 데이터셋인 EquiME를 소개한다. EquiME는 다섯 가지 목표 감정에 걸쳐 15K개의 소스 얼굴 이미지로부터 생성된 75K개의 비디오를 포함하며, 자동으로 추론된 인구통계학적 메타데이터와 비디오 품질 측정값도 함께 제공된다. 우리는 프레임 쌍 유사도, 공간 변화, 무참조 지각 품질 메트릭과 함께 SAMM 및 CASME II에 대한 교차 데이터셋 미세표정 인식(MER) 실험을 통해 EquiME를 평가한다. EquiME로 학습된 모델은 SAMM 및 CASME II에서 경쟁력 있는 교차 데이터셋 성능을 달성하며, 평가된 네 가지 아키텍처 전반에 걸쳐 비교적 낮은 변동성을 보인다. 본 논문은 데이터셋 설계, 비디오 생성에 사용된 구조화된 AU 조건화 파이프라인, 그리고 EquiME를 합성 MER 자원으로 평가하는 데 필요한 실증적 근거에 초점을 맞춘다. 프로젝트 페이지: https://kirito-blade.github.io/me-vlm/
디퓨전 모델은 학습 분포를 충실히 재현하지만, 그 불균형도 함께 물려받아 희귀하거나 과소 표현된 모드에 도달하기 어렵게 만든다. 추론 시점에서의 자연스러운 해결책은 고온 타깃 $p^{(γ)}_0(x) \propto p_0(x)^γ$ ($0 < γ < 1$)에서 샘플링하는 것으로, 이는 지배적인 모드를 평탄화하고 희귀한 모드를 끌어올린다. 그러나 단순한 스코어 스케일링은 모드 재가중은 올바르게 수행하면서도 모드별 분산을 부풀려 역방향 디퓨전 프로세스를 손상시키고 샘플 품질을 저하시킨다. 우리는 분산 보정 시간 이동(variance-corrective time shifting)을 소개한다. 이는 이동된 타임스텝에서 네트워크를 쿼리하고 결과 스코어에 $γ$를 곱하여 분산 팽창을 상쇄하면서 모드 재가중을 보존하는, 재학습이 필요 없는 방법이다. 이 보정은 단순한 온도 샘플링을 사전학습된 디퓨전 및 플로우 매칭 백본을 위한 실용적인 다양성 조절 장치로 변환하며, 재학습 없이도 DiT, Stable Diffusion, Motion Diffusion 모델 전반에 걸쳐 샘플 품질 및 조건 충실도에 최소한의 비용으로 일관된 성능 향상을 보임을 실증한다. 나아가 온도 개입의 타이밍이 거친 수준에서 세밀한 수준으로의 제어를 가능하게 함을 보인다: 고잡음 단계는 모드 간 구성적 다양성을 이끌고, 저잡음 단계는 고정된 구성 하에서 국소적 외관 변화를 이끈다.
AI 생성 비디오(AIGC-V)의 사실적 표현이 급속도로 향상됨에 따라 기존의 아티팩트 중심 탐지 방식이 점차 한계를 드러내고 있으며, 저수준 검사에서 고수준 의미 검증으로의 패러다임 전환이 요구되고 있다. 본 논문은 AIGC-V 탐지에 관한 종합적인 서베이를 제시하며, 이 과제를 사실적 충실도 검증(Factual Fidelity Verification)으로 재정의한다. 이는 비디오에 묘사된 사건, 개체, 물리적 과정이 실제 사실과 일치하는지를 묻는 문제이다. 이 빠르게 진화하는 분야를 체계화하기 위해, 우리는 기존 방법들을 내재적 단서 분석, 시공간 일관성 모델링, 교차 모달 일관성 추론, 언어 기반 세계 수준 추론의 네 개 층(layer)으로 구성된 계층적 분류 체계인 비전-언어 이중 관점(Vision-Language Dual-View) 분류 체계를 제안한다. 이 이중 관점 프레임은 기존 딥페이크 탐지의 아티팩트 매칭에서 비전-언어 모델과 에이전트(agentic) 추론 파이프라인이 가능케 하는 증거 기반 의미 검증으로의 근본적인 전환을 부각시킨다. 221편의 연구에 대한 체계적 검토를 바탕으로, AIGC-V 생성 패러다임을 종합하고, 탐지 방법의 전반적 현황을 조망하며, 제안된 관점에 따라 평가 지표 및 벤치마크를 검토한다. 마지막으로 현재의 과제를 논의하고 강건하고 설명 가능하며 신뢰할 수 있는 탐지를 위한 유망한 방향을 제시한다.
대규모 비디오 확산 백본 위에 구축된 주행 월드 모델은 사실적인 장면을 생성하지만 제어하기가 어렵다. 교통 규범을 적용하려면 일반적으로 백본을 재학습하거나 수작업으로 구성된 레이아웃으로 조건화해야 한다. 우리는 제어 가능성이 학습을 전혀 필요로 하지 않을 수 있는지 묻는다. 우리의 실험은, 미래 비디오와 계획된 자아 궤적을 공동으로 생성하는 정류 흐름(rectified-flow) 기반 주행 월드 모델이, 확산 백본의 특정 지식 재학습 없이 주행 규범을 인코딩하는 미분 가능한 에너지 함수를 샘플링 시점에 주입함으로써 계획된 궤적을 완전히 조향할 수 있음을 보여준다. 구체적으로, Open-Sora 2.0 MM-DiT 백본 위에 구축된 월드 모델이 샘플링 시점에 에너지 가이던스를 주입하여 반사실적 목표 지점에서 제동하도록 조향될 수 있음을 시연한다. 그러나 생성된 비디오는 백본의 공동 셀프 어텐션을 통한 조향된 궤적을 아직 따르지 않음을 발견하였으며, 종단 간 제어 가능한 롤아웃을 위한 핵심 요건으로 교차 스트림 결합(cross-stream coupling)을 식별한다.
인간-반려동물 상호작용 추정 및 생성은 고품질 대규모 데이터셋의 부재로 인해 충분히 연구되지 않은 분야입니다. 우리는 인간과 개 사이의 자연스러운 상호작용을 포착한 최초의 멀티모달 데이터셋인 InterPet4D를 제시합니다. 동기화된 다중 시점 캡처 시스템을 사용하여 인간-개 복종 훈련 장면을 녹화하고, 다중 시점 및 에고센트릭 영상, 세그멘테이션, 2D 및 3D 키포인트, 메시, 오디오 트랙을 포함한 인간과 개 각각에 대한 어노테이션을 제공합니다. InterPet4D는 23명의 인간 참가자와 상호작용하는 11개 품종의 개 13마리로부터 수집한 680만 프레임으로 구성됩니다. 나아가 인간-반려동물 상호작용 모션 생성을 위한 InterPetMoGen 프레임워크를 소개합니다. 제안한 모델은 FID 점수 11.21을 달성하며 Seq2Seq 및 DiT 베이스라인을 크게 상회하여, 현실적인 인간-반려동물 상호작용 모델링에 있어 InterPet4D의 효과성을 입증합니다.
생성된 비디오는 로봇 조작을 위한 유용한 시각적 모션 사전(visual motion prior)을 제공하지만, 시각적 그럴듯함이 물리적 실행 가능성을 의미하지는 않는다. 생성된 비디오는 일반적으로 메트릭 기하학, 그래스프 그라운딩(grasp grounding), 로봇 기구학적 실행 가능성, 실행 시 피드백이 부족하여 실제 환경의 조작에서 직접적인 궤적 재현을 신뢰하기 어렵게 만든다. 본 논문은 생성된 비디오 모션을 실제 로봇이 실행 가능한 조작 궤적으로 변환하는 강체-기하학적 일관성 프레임워크인 GenVid2Robot을 제안한다. 초기 RGB-D 관측과 작업 지시가 주어지면, GenVid2Robot은 실제 첫 번째 프레임에서 작업 관련 의미론적 앵커를 샘플링하고, 생성된 비디오 후보들을 통해 이 앵커들을 추적하며, 희소 상대적 SE(3) 모델 하에서 결과로 나타나는 2D 모션이 첫 번째 프레임의 RGB-D 앵커로 설명될 수 있는지 검증한다. 이를 통해 생성된 비디오는 직접적인 로봇 데모가 아닌 불확실한 시각적 모션 가설로 처리된다. 기하학적으로 일관된 모션만이 로봇으로 전달된다. 수용된 상대적 모션은 이후 마스크 제약 그래스핑으로 선택된 실제 그래스프 시점의 TCP 포즈에 적용되어, 시각적 모션 사전과 물리적 그래스프 구성 모두에 일관된 그래스프 조건부 실행 궤적을 생성한다. RGB-D 노이즈, 캘리브레이션 잔차, 소규모 접촉 유발 변위로 인한 실행 불일치를 줄이기 위해, 유계 깊이 보정 모듈이 완전한 온라인 재계획을 가정하지 않고 지역적 깊이 방향 오류를 수정한다. 실제 로봇 실험을 통해 GenVid2Robot이 희소 메트릭 기하학, 그래스프 제약, 로봇 실행 가능성 검사, 유계 실행 피드백으로 시각적 모션 사전을 그라운딩함으로써 생성 비디오 기반 조작의 신뢰성을 향상시킴을 보인다.
본 연구에서는 전방향(omnidirectional) 표현의 회전 등변(rotation-equivariant) 속성을 활용하여 파노라마 월드 모델의 장거리 메모리 문제를 해결하고자 한다. 이때 회전은 암묵적인 기하학적 변환으로 처리된다. 이러한 통찰을 바탕으로, 우리는 PanoWorld를 제안한다. PanoWorld는 Dense Panoramic Ray-Conditioning(DPRC)과 Geometry-aware Memory Augmentation(GMA)을 통해 현재 액션 모델링 및 장거리 메모리 모두에서 고정 방향(fixed heading)을 이용해 카메라 궤적을 평행 이동(translation)으로 단순화한다. 이어서, 각 구성 요소를 점진적으로 최적화하는 3단계 학습 파이프라인을 도입한다. 기존 데이터셋이 상대적으로 안정적인 조건에서 구성된 것과 달리, 대규모 공간 변화 및 다양한 조명 조건 하에서의 물리적 일관성을 보다 효과적으로 평가하기 위해 World360을 구축하였다. World360은 파노라마 무인 항공기(UAV)로 수집한 실세계 동영상 클립과 AirSim360으로 생성한 고품질 시뮬레이션 클립으로 구성된 대규모 데이터셋이다. World360에서의 광범위한 실험을 통해 PanoWorld의 효과가 입증되었으며, 대안적 방법들을 큰 마진으로 능가하였다. 모델, 학습 코드, 데이터셋은 공개될 예정이다. 자세한 내용은 프로젝트 페이지(https://lihaoy-ux.github.io/panoworld-page/)에서 확인할 수 있다.
행동 조건부 월드 모델(ACWM)은 구현된 행동을 조건으로 미래 관측을 시뮬레이션하는 것을 목표로 하며, 로봇 계획, 정책 평가, 데이터 증강(data augmentation)을 위한 유망한 기반을 제공한다. 그러나 제어 가능한 ACWM을 학습하려면 대규모 행동 레이블 데이터가 필요하며, 이를 실세계에서 수집하는 데는 여전히 높은 비용이 든다. 잠재 행동 모델(LAM)은 레이블이 없는 비디오에서 잠재 행동을 추론함으로써 이 병목을 완화하지만, 기존 LAM은 일반적으로 재구성만을 목적으로 학습되기 때문에 행동 관련 동역학과 배경, 미접촉 객체 등 행동과 무관한 시각적 요소가 뒤엉키는 문제가 있다. 본 연구에서는 이러한 행동 무관 바이어스(bias)를 제어 가능한 ACWM의 핵심 장애 요인으로 규명하고, 잠재 행동 바이어스, 행동 추종, 강건성을 측정하기 위한 평가 지표를 도입한다. 우리는 LAM 기반 ACWM을 위한 인과적 편향 제거 프레임워크인 CD-LAM을 제안한다. CD-LAM은 세 가지 효율적인 미세조정(fine-tuning) 목적 함수를 도입한다: 구현체 중심 재구성, 행동 중심 대조 학습, 잠재 공간 보정. 이 세 가지가 함께 구현체에 집중되고 행동을 인식하며 붕괴되지 않는 보정된 잠재 행동 표현을 유도한다. 2B 및 14B ACWM 백본에 대한 실험에서 CD-LAM은 잠재 행동 제어 가능성, 다운스트림 로봇 행동 추종, 시각적 충실도, 적응 효율성을 크게 향상시키며, 단 6,000회의 미세조정 스텝만으로 기준선(baseline) 대비 로봇 행동 적응 업데이트 횟수를 12배 이상 줄이는 것을 확인하였다.
오디오-비주얼 생성 모델이 세계 시뮬레이터로 발전함에 따라, 교차 모달 동기화(cross-modal synchronization)는 생성된 콘텐츠의 세계 역학과 인과성의 일관성을 평가하기 위한 핵심 대리 지표로 부상하고 있다. 그러나 기존 평가 지표들은 구조적 정확성을 전제로 하여 동기화를 단순한 시간적 정렬로 축소시킨다. 결과적으로, 이러한 지표들은 특히 구조적 환각(hallucination)과 비대칭적 교차 모달 관계를 보이는 생성 출력물에서 실패하며, 현재 동기화 평가를 위해 **전문 인간 주석이 필수적으로 요구**된다. 이 의존성은 핵심적인 역설을 야기한다: 인간 평가자는 상대적이고 참조 의존적인 비교에 의존하는 반면, 자동화된 지표는 참조 없는(reference-free) 절대적 스칼라 값을 필요로 한다. 우리는 상대적인 인간 인식을 연속적이고 전역적으로 일관된 지표로 증류하는 프레임워크를 제안하여 이 역설을 해결한다. 첫째, 쌍별 인간 주석을 통해 순위가 매겨진 생성 실패 사례들의 데이터셋인 SynthSync를 소개한다. 둘째, 연속적인 잠재 공간 투영을 갖춘 Omni-LLM을 적용하여 상대적인 인간 순위를 연속적인 절대 값으로 변환한다. 셋째, 리스트 단위 점수 분포를 통해 동기화의 전역적 인과 구조를 내면화하기 위한 실수값 그룹 상대 정책 최적화(Real-Valued Group Relative Policy Optimization, $\mathbb{R}$-GRPO)를 제안한다. 실험적으로, 우리의 지표는 최첨단 인간 선호도 정렬(alignment)을 달성한다. 우리는 이 추정기를 활용하여 표준화된 벤치마크를 구축하고, AV-Gen 평가를 저수준 신호 상관관계에서 시각적으로 기반한 인과성으로 발전시킨다.
다음 토큰 예측에 힘입어, 자연어 처리(NLP)는 태스크별 모델에서 강력한 범용 파운데이션 모델로 전환되었다. 그렇다면 컴퓨터 비전(CV)에서 범용 모델을 달성하기 위해 필요한 동등한 촉매는 무엇인가? 본 논문에서 우리는 대규모 텍스트-투-비디오 생성이 컴퓨터 비전을 위한 강력한 사전학습 패러다임으로 기능하며, 범용 시각 지능에 필요한 시공간적 사전 지식, 비전-언어(vision-language) 정렬, 그리고 확장성을 제공한다고 주장한다. 우리는 GenCeption을 소개한다. GenCeption은 사전학습된 비디오 생성 확산(diffusion) 백본을 활용하여 피드포워드 인식 모델을 정의하며, 텍스트 인스트럭션으로 조종되는 다양한 비전 태스크를 수행할 수 있다. 실험 결과, GenCeption은 깊이 추정, 표면 법선 추정, 카메라 포즈 추정, 표정-참조 분할(expression-referring segmentation), 3D 키포인트 예측을 포함한 다양한 태스크에서 최첨단 성능을 달성하며, DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo, Lotus-2 등 전문화된 모델과 동등하거나 이를 능가하는 경우가 많다. 또한, 비디오 생성 사전학습 백본은 동등한 조건에서 V-JEPA, Video MAE 등 대안적 사전학습 패러다임을 능가한다. 중요하게도, GenCeption은 초기적인 데이터 및 모델 스케일링(scaling) 특성과 함께 뛰어난 데이터 효율성을 보이며, D4RT 및 VGGT-Omega와 같은 선도 모델 대비 학습 데이터를 7배에서 500배 적게 사용하면서도 비슷한 성능을 달성한다. 마지막으로, GenCeption은 흥미로운 창발적(emergent) 행동을 보인다. 합성 인간 비디오만으로 학습된 모델이 실제 영상과 분포 외(out-of-distribution) 객체 범주(예: 동물 및 로봇)로 일반화된다. 이러한 결과는 비디오 생성이 단순한 합성 도구가 아니라, 물리적 세계를 위한 범용 시각 지능을 향한 근본적인 경로임을 시사한다. 프로젝트 페이지: https://genception.github.io
대규모 비디오 확산 및 플로우 모델은 고품질 비디오 생성에서 괄목할 만한 성과를 거두었지만, 비효율적인 다단계 샘플링 과정으로 인해 실시간 인터랙티브 애플리케이션에서의 활용은 여전히 제한적이다. 본 연구에서는 비디오 확산 모델을 효율적인 소수 단계 생성기로 증류하는 새로운 프레임워크인 전이 매칭 지식 증류(TMD, Transition Matching Distillation)를 제안한다. TMD의 핵심 아이디어는 확산 모델의 다단계 노이즈 제거 궤적을, 각 전이가 경량 조건부 플로우로 모델링되는 소수 단계 확률적 전이 과정에 매칭하는 것이다. 효율적인 증류를 위해, 원래의 확산 백본을 두 가지 구성 요소로 분해한다: (1) 각 외부 전이 단계에서 의미론적 표현을 추출하는 대부분의 초기 레이어로 구성된 메인 백본, (2) 이 표현을 활용하여 다수의 내부 플로우 업데이트를 수행하는 마지막 몇 개의 레이어로 구성된 플로우 헤드. 사전학습된 비디오 플로우 모델이 주어지면, 먼저 플로우 헤드를 모델에 도입하고 이를 조건부 플로우 맵으로 적응시킨다. 이후 각 전이 단계에서 플로우 헤드 롤아웃을 포함한 학생 모델에 분포 매칭 지식 증류를 적용한다. Wan2.1 1.3B 및 14B 텍스트-투-비디오 모델의 증류에 대한 광범위한 실험을 통해 TMD가 생성 속도와 시각적 품질 사이에서 유연하고 강력한 트레이드오프를 제공함을 입증한다. 특히 TMD는 비슷한 추론 비용 조건에서 시각적 충실도 및 프롬프트 준수 측면에서 기존 증류 모델을 능가한다. 프로젝트 페이지: https://research.nvidia.com/labs/genair/tmd
텍스트-투-비디오 생성은 콘텐츠 제작을 크게 풍부하게 했으며, 강력한 월드 시뮬레이터로 발전할 잠재력을 지니고 있다. 그러나 광대한 시공간적 공간을 모델링하는 것은 계산 비용이 매우 크며, 특히 시퀀스 처리에서 이차 복잡도를 유발하여 실용적 응용을 제한하는 Transformer를 사용할 때 더욱 그러하다. 최근 선형 시간 시퀀스 모델링, 특히 Mamba 아키텍처의 발전이 보다 효율적인 대안을 제시한다. 그러나 Mamba의 단순한 설계는 멀티모달 및 시공간적 비디오 생성 태스크에 직접 적용하는 데 한계가 있다. 이러한 과제를 해결하기 위해, 우리는 효율적인 텍스트-투-비디오 생성을 위한 멀티모달 Mamba 프레임워크인 M4V를 제안한다. 구체적으로, 멀티모달 정보의 원활한 통합과 시공간 모델링을 가능하게 하는 MultiModal diffusion Mamba(MM-DiM) 블록을 프레임워크 내에 설계하였다. 세부적으로, 단순한 토큰 배열을 통한 멀티모달 정보 통합을 위한 양방향 방식을 채택하는 새로운 멀티모달 토큰 재구성 설계를 도입하였으며, 시공간적 일관성을 강화하기 위한 비주얼 레지스터도 함께 적용하였다. 그 결과, M4V의 MM-DiM 블록은 768x1280 해상도의 비디오 생성 시 어텐션 기반 대안 대비 FLOPs를 45% 절감한다. 또한, 본 연구에서는 공개적으로 이용 가능한 데이터셋만을 사용하여 텍스트-투-비디오 모델을 학습하는 방법에 대한 더 나은 이해를 제공하기 위한 여러 학습 전략을 탐구하였다. 텍스트-투-비디오 벤치마크에 대한 광범위한 실험을 통해, M4V가 계산 비용을 크게 절감하면서도 고품질 비디오를 생성할 수 있음을 입증한다. 프로젝트 페이지: https://huangjch526.github.io/M4V_project/.
해밀토니안 생성 네트워크(HGN)가 소산(dissipative) 환경에서 학습 범위 밖의 스텝 크기로 롤아웃할 때 발생하는 실패 원인—제약 없는 액션-포스 맵으로 인한 잠재 표현 크기 폭발과 적분기의 전역 절단 오차 누적—을 체계적으로 분석하고, 각 메커니즘에 대한 수정 방법을 제안하여 학습 분포 밖에서도 안정적인 동역학 예측이 가능함을 입증한다.
희소 이벤트 스트림에서 고품질 비디오를 복원·예측·보간하는 통합 프레임워크 LongE2V를 제안하며, 사전학습된 비디오 확산 모델(CogVideoX)을 파인튜닝하여 텍스처 흐림과 장기 시간적 드리프트 문제를 해결한다. 자기회귀적 언롤링(Autoregressive Unrolling), 적응형 컨텍스트 전환, 교차 잔차 보정을 포함한 재인코딩 정렬 기법을 도입하여 실세계 벤치마크 세 가지 과제 모두에서 최첨단 방법을 능가하고 제로샷 일반화를 달성했다.
소수 단계 자기회귀(AR) 비디오 확산 모델의 장기 롤아웃에서 발생하는 오류 누적과 모션 다이나믹 약화 문제를 해결하기 위해, OPSD-V는 실제 장편 비디오 데이터를 시간적 컨텍스트로 활용해 교사 모델의 KV 캐시를 정제하고 학생 모델의 온-정책 롤아웃에 조밀한 디노이징 수준의 지도를 제공하는 사후학습 자기 지식 증류(self-distillation) 패러다임이다. Self-Forcing과 LongLive에 적용한 실험에서 VBenchLong 점수, 시각적 품질, 모션 다이나믹 모두 일관된 향상을 보였으며, 사용자 연구에서 66.0%의 전반적 선호도를 기록했다.
비디오 생성을 통한 Chain-of-Frame(CoF) 추론 능력을 향상시키기 위해, 11개 태스크 패밀리에 걸친 17,312개의 추론 비디오로 구성된 OpenCoF-17K 데이터셋과 이를 기반으로 파인튜닝된 Wan-CoF 모델을 제안한다. 다양한 시간적 지도(temporal supervision)와 시각적·텍스트 추론 토큰 메커니즘을 도입한 결과, MME-CoF, Gen-ViRe, VIPER, RULER-Bench 등 4개의 외부 비디오 추론 벤치마크에서 기준 모델 Wan2.2-I2V-A14B 대비 상당한 성능 향상을 달성했다.
인간 중심 딥페이크(deepfake) 영상 탐지 연구의 한계를 극복하기 위해, 오디오 기반·포즈 기반·상호작용·의미 기반 등 네 가지 시나리오를 포괄하는 대규모 영상 위조 벤치마크 HumanForge(18,000개 이상의 합성 영상 세그먼트)를 제안한다. 데이터셋 구축 및 주석 자동화를 위해 LangGraph 기반의 멀티 에이전트 파이프라인 Gen2Anno를 설계하여, 생성 출처와 시각적 분석을 대조하는 방식으로 이진 판정·세밀한 아티팩트 범주·시공간적 위치 정보를 포함한 omni-annotation을 생성하고, 최신 탐지기 및 대규모 멀티모달 모델(LMM) 벤치마크를 통해 제로샷 일반화의 높은 난이도를 입증하였다.
의미론적 세계 예측과 생성적 세계 진화를 통합하는 이중 수준 VLA 프레임워크 WCog-VLA를 제안하며, 3D 공간 인지 기반의 에이전트 토큰과 Game-CoT 추론, 그리고 다중 에이전트 궤적을 합성하는 ADDT 생성 세계 모델을 결합해 능동적 자율주행을 구현한다. NAVSIM 벤치마크에서 PDMS 92.9의 최고 성능(SOTA)을 달성했으며, 85k개의 Game-CoT 어노테이션 데이터셋을 추가로 구축하였다.
SkelGen4D는 프레임별 스켈레톤 어노테이션 없이 텍스트 기반 메시 애니메이션을 생성하는 약지도 학습(weakly supervised) 피드포워드 프레임워크로, 미분 가능한 피팅으로 추출한 의사 스켈레톤(pseudo-skeleton)과 자동회귀 트랜스포머 기반 모션 생성기를 결합한다. Truebones Zoo와 Diffusion4D 벤치마크에서 완전 지도 학습 기반선과 동등하거나 우수한 성능을 달성하며, Motion-GRPO를 통해 시간적 일관성과 물리적 타당성을 보장한다.
비디오-액션 모델(VAM)이 로봇 액션 데이터 파인튜닝 후 생성형 비디오 기반 모델의 구성적 사전 지식(compositional prior)을 잃는 '비디오-액션 일반화 격차(video-action generalization gap)' 문제를 분석하고, 액션 헤드가 미래 잠재 롤아웃에 의존하는 정도를 어텐션 기반으로 측정하는 시간적 비율(Temporal Ratio, TR)을 도입하여 이를 구성적 일반화 능력의 예측 지표로 활용한다. TR을 런타임 신호로 삼아 정책이 계획 단계에 진입할 때 동적으로 비디오 컨디셔닝 신호를 증폭하는 추론 시간 적응형 가이던스 방법을 제안하며, LIBERO 벤치마크와 실제 양팔 로봇 태스크에서 OOD 구성적 일반화 격차를 완화함을 검증한다.