CtrlWAM: 의도와 예측이 정렬된 제어 가능한 월드 액션 모델(World Action Model)
CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight
월드 액션 모델(World Action Model, WAM)은 행동(의도)과 시각적 미래(예측, foresight)를 동시에 예측한다. 표준적인 학습 방식은 기록된 행동과 비디오에 동시에 노이즈를 추가하지만, 이러한 학습 방식은 불일치(mismatch)를 유발한다: 교란된 행동은 반사실적(counterfactual) 미래 시각 정보를 암시하지만, 노이즈가 추가된 비디오는 여전히 실제 기록(GT recording)에 묶여 있다. 저노이즈(low-noise) 구간에서는 노이즈가 추가되었음에도 장면 기하 구조(scene geometry)와 동적 행동(dynamic behavior)까지도 노이즈가 섞인 미래 프레임에서 명확하게 보인다. 우리는 시뮬레이터에서 교란된 행동을 실행하고 이를 해당 행동에 따른 노이즈가 섞인 시각적 결과와 짝지어 WAM을 공동 학습시키는 CtrlWAM을 제시한다. 비디오와 행동이 서로 다른 디노이징(denoising) 요구사항을 갖는다는 점을 수용하기 위해, 우리는 행동 예측이 진행됨에 따라 시각적 레이아웃이 이에 반응하도록 유지하는 것을 목표로 하는 왜곡된(warped) 비디오-행동 노이즈 스케줄을 도입한다. 또한 우리는 행동 인터페이스를 자기 차량(ego) 전용 제어에서 가변 개수의 에이전트(agent) 스트림으로 확장하여, 단일 통합 모델이 여러 에이전트에 대한 예측되거나 명령된 미래를 표현할 수 있도록 한다. 주행(driving) 실험에서는 더 정확한 행동 예측, 생성된 비디오와 행동 간의 더 긴밀한 일치, 그리고 주어진 명령을 더 잘 따르는 결과를 보였으며, 로보틱스(robotics) 실험에서는 더 강한 동작 충실도(motion fidelity)와 제어 가능성(controllability)을 보였다. 매칭된 대조 실험(matched controls)은 명령 추종(command following)과 조작 충실도(manipulation fidelity) 측면에서 경로 이탈(off-path) 렌더링의 이점을 지지한다. 이러한 결과들은 종합적으로 더 제어 가능한 월드 액션 모델에 기여한다. 프로젝트 페이지: https://ctrl-wam.github.io/