Ego2Act: 1인칭 비디오 생성에서의 목표 지향적 조작 평가
Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation
비디오 생성 모델은 체화된 계획 수립(embodied planning) 및 학습을 위한 월드 시뮬레이터로서 점점 더 많이 연구되고 있습니다. 이를 효과적으로 수행하려면 이러한 모델은 시각적으로 매력적인 프레임을 생성할 뿐만 아니라, 목표 지향적 행동을 실행할 때 환경이 어떻게 동적으로 변화하는지 예측해야 합니다. 이러한 역량을 평가하는 것은 매우 중요하지만, 기존 벤치마크는 주로 단일 단기 행동이나 단계별 지침에 초점을 맞추고 있습니다. 이로 인해 다단계 물리적 추론, 특히 여러 실제 조작을 수행하여 고수준 목표를 달성하기 위해 올바른 실행을 시뮬레이션하는 계획이 필요한 1인칭(egocentric) 비디오 생성 분야에서는 충분히 탐구되지 못한 채로 남아 있습니다. 본 연구에서는 일상적 환경, 다양한 물체 복잡도(clutter), 다단계 복잡성을 아우르는 110개 실제 과제의 2,640개 비디오로 구성된 목표 지향적 벤치마크인 Ego2Act를 소개합니다. 초기 장면 이미지와 고수준 목표가 주어졌을 때, Ego2Act는 비디오 생성 모델이 과제를 수행하기 위해 손이 물체를 조작하는 사실적인 1인칭 비디오를 생성할 수 있는지 평가합니다. 확장 가능한 평가를 지원하기 위해, 관련 베이스라인에 비해 작업 완료도 및 물리적 타당성 평가에서 인간의 판단과 더 높은 일치도를 달성하는 무참조(reference-free) 평가 파이프라인인 Ego2ActJudge도 함께 소개합니다. 연구 결과, 모델이 생성한 시뮬레이션은 단계를 건너뛰거나 부분적으로만 실행하여 이후 단계에서 의존적인 상태가 누락되는 경우가 많았고, 이는 목표 미달성으로 이어지는 것으로 나타났습니다. 나아가 모델들은 복잡한 물체 조작 및 영속적인 월드 모델링 과정에서 세밀한 물리적 동역학을 재현하는 데 지속적으로 실패했습니다. Ego2Act가 비디오 모델을 물리적으로 타당하며 목표 지향적인 시뮬레이션으로 발전시키기 위한 엄밀한 테스트베드를 제공하기를 기대합니다.