체화된 비전-언어 계획 수립(embodied vision-language planning)을 위한 기존 벤치마크들은 물리적으로 그라운딩(grounding)된 다음 상태 추론보다 언어적 다음 토큰(token) 예측을 의도치 않게 선호합니다. 이는 진정한 인과적 의존성을 추적하기보다는 통계적 언어 사전 확률을 모방하는 모델에 보상을 주어, 복잡한 물리적 계획 수립을 피상적인 시퀀스 모델링으로 전락시킵니다. 따라서 진정한 물리적 자율성을 달성하려면 언어적으로 그라운딩된 토큰 예측에서 물리적으로 그라운딩된 인과 추론으로의 근본적인 전환이 필요합니다. 이를 위해 본 연구에서는 다단계 검증을 통해 큐레이션된 4가지 인과 차원을 아우르는 고충실도 진단 스위트인 Causal-Plan-Bench를 소개합니다. 모델에 이러한 역량을 부여하기 위해, 4단계 주석 파이프라인을 통해 1인칭 시점(egocentric) 비디오에서 정형화된 상호작용 기록을 추출하여 명시적 인과 추론 궤적을 담은 100만 규모의 조밀한 말뭉치인 Causal-Plan-1M을 구축합니다. 광범위한 평가 결과 주목할 만한 격차가 드러났습니다. 선도적인 모델들도 진정한 물리적 에이전시(physical agency)를 입증하는 데 어려움을 겪으며, GPT-6-astra조차 43.04점에 그쳤습니다. 대조적으로, 본 연구의 맞춤형 학습(training) 레시피는 Causal Planner가 정확한 다음 상태 추정에 필요한 복잡한 물리적 논리를 내재화할 수 있도록 합니다. Qwen3-VL-8B를 기반으로 구축된 Causal Planner는 백본의 점수를 33.23에서 45.28로 끌어올려 상대적으로 36.3%의 향상을 달성했으며, 벤치마크 맞춤형 적응 없이도 3개의 외부 벤치마크에서 성능을 개선했습니다. 나아가 본 연구는 경험적인 인과 감독 스케일링(Causal-Supervision Scaling) 트렌드를 관찰했습니다. 쌍을 이룬 무시각 대조군(no-vision controls)은 상당한 시각적 의존성을 드러내는 한편, 교차 평가자 비교 및 인간 평가를 통해 자동화된 평가의 신뢰성을 검증합니다. 무엇보다도, 본 연구는 에이전트를 피상적인 토큰 예측기에서 물리적으로 그라운딩된 인과 추론기로 전환하여 언어 모델링과 월드 모델링의 간극을 메우는 최초의 시도를 시작합니다.
자기회귀(AR) 비디오 모델은 인과적 생성에 뛰어나지만, 다음 청크 예측(next-chunk prediction)에 의존하기 때문에 근시안적이고 반응적인 패러다임에 머무르게 됩니다. 이러한 한계는 국소적인 시각적 타당성보다 유효한 중간 상태를 거쳐 목표 결과를 달성하는 것이 더 중요한 추론 중심 생성에서 특히 중대한 영향을 미칩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 자기회귀 비디오 생성을 목표 지향적 추론 과정으로 변환하는 새로운 프레임워크인 ProAR(Learning Prospective Reasoning with Autoregressive Video Models)을 제안합니다. ProAR은 두 가지 핵심 구성 요소를 도입합니다: (1) 생성을 장기적인 결과에 고정하기 위해 비대칭 어텐션 마스크를 통해 목표 프레임 예측을 자기회귀 루프에 통합함으로써, 예측된 목표 프레임이 중간 상태의 간섭을 받지 않고 그 생성을 유도할 수 있도록 합니다. (2) 단기 전환을 유도하기 위해 현재 은닉 상태가 다가올 시간적 동역학을 예측하도록 장려하는 미래 표현 자기 정렬(future representation self-alignment)을 도입합니다. AR 학습에서 티처 포싱(teacher-forcing)을 활용하여 단일 순전파에서 깔끔한 미래 표현을 추출하고, 학습 시에만 사용되는 경량 예측기를 사용해 현재 표현을 이에 정렬합니다. 이 두 메커니즘은 명시적이고 희소한 목표 지도와 암묵적이고 조밀한 단계별 안내를 매끄럽게 결합하여, 적은 계산 비용으로도 일관되고 목표 지향적인 추론 진행을 촉진합니다. 실험 결과에 따르면 ProAR의 상호보완적인 구성 요소들은 다양한 시각적 추론 벤치마크 전반에서 지속적으로 성능을 향상시키는 것으로 나타났습니다. 또한 이 프레임워크는 학습 단계의 25%만을 사용하여 완전히 학습된 표준 AR 베이스라인을 능가할 정도로 학습 효율성이 매우 높음을 입증했습니다. 아울러 이러한 패러다임은 체화된(embodied) 추론 태스크에 대해서도 유망한 적용 가능성을 보여줍니다.
일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.