LPA-CWM: 반사실적 월드 모델을 활용한 모션 추론을 위한 학습된 물리 판정기
LPA-CWM: A Learned Physical Adjudicator for Motion Reasoning with Counterfactual World Models
반사실적 월드 모델(CWM)은 실제 예측과 개입된 예측을 비교하여 사전학습된 비디오 예측기에서 모션을 추출하지만, 균일 집계(uniform aggregation)는 물리적 사전지식(physical priors)을 명시적으로 통합하지 않고 응답에 동일한 가중치를 부여합니다. 본 연구의 핵심 통찰은 물리적 사전지식을 후보 신뢰도 학습에 통합하는 것으로, 가벼운 학습된 물리 판정기(LPA)를 갖춘 LPA-CWM을 제안하게 된 배경이 되었습니다. 조밀한 MOVi-F 궤적에서 학습된 3.0M 매개변수의 LPA는 순서가 없는 후보 집합 전체에서 시각적 문맥과 응답 구조를 비교하여 상대적 가중치를 예측하며, CWM을 고정한 상태에서 윈도우 기반 위치 파악 및 1회의 쌍별 재평가를 통해 모션을 복원합니다. 기존의 비디오 수준 벤치마크는 낮은 위치 파악 오차가 누락된 궤적 구간을 감출 수 있는 모션 대응을 직접적으로 평가하지 못합니다. 이에 따라 위치 파악, 완전성, 가시성 및 연속성을 함께 측정하고 가시적인 동적 지점에서 누락된 예측을 실패로 간주하는 정답 기반 프로토콜인 완전성 인식 모션 대응(CMC)을 도입합니다. DAVIS, Kinetics 및 RoboTAP 전반에 걸쳐 LPA-CWM은 Uniform CWM 대비 모든 주요 CMC 지표를 개선하여 평균 동적 대응 정확도($\mathrm{DCA}_{\mathrm{avg}}$)에서 18.1%--60.0%의 상대적 향상을 달성하고, TAP-Vid First 추적 정확도를 향상시킵니다(개요: https://LPA-CWM.github.io).