ProAR: 자기회귀 비디오 모델을 통한 전향적 추론 학습
ProAR: Learning Prospective Reasoning with Autoregressive Video Models
자기회귀(AR) 비디오 모델은 인과적 생성에 뛰어나지만, 다음 청크 예측(next-chunk prediction)에 의존하기 때문에 근시안적이고 반응적인 패러다임에 머무르게 됩니다. 이러한 한계는 국소적인 시각적 타당성보다 유효한 중간 상태를 거쳐 목표 결과를 달성하는 것이 더 중요한 추론 중심 생성에서 특히 중대한 영향을 미칩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 자기회귀 비디오 생성을 목표 지향적 추론 과정으로 변환하는 새로운 프레임워크인 ProAR(Learning Prospective Reasoning with Autoregressive Video Models)을 제안합니다. ProAR은 두 가지 핵심 구성 요소를 도입합니다: (1) 생성을 장기적인 결과에 고정하기 위해 비대칭 어텐션 마스크를 통해 목표 프레임 예측을 자기회귀 루프에 통합함으로써, 예측된 목표 프레임이 중간 상태의 간섭을 받지 않고 그 생성을 유도할 수 있도록 합니다. (2) 단기 전환을 유도하기 위해 현재 은닉 상태가 다가올 시간적 동역학을 예측하도록 장려하는 미래 표현 자기 정렬(future representation self-alignment)을 도입합니다. AR 학습에서 티처 포싱(teacher-forcing)을 활용하여 단일 순전파에서 깔끔한 미래 표현을 추출하고, 학습 시에만 사용되는 경량 예측기를 사용해 현재 표현을 이에 정렬합니다. 이 두 메커니즘은 명시적이고 희소한 목표 지도와 암묵적이고 조밀한 단계별 안내를 매끄럽게 결합하여, 적은 계산 비용으로도 일관되고 목표 지향적인 추론 진행을 촉진합니다. 실험 결과에 따르면 ProAR의 상호보완적인 구성 요소들은 다양한 시각적 추론 벤치마크 전반에서 지속적으로 성능을 향상시키는 것으로 나타났습니다. 또한 이 프레임워크는 학습 단계의 25%만을 사용하여 완전히 학습된 표준 AR 베이스라인을 능가할 정도로 학습 효율성이 매우 높음을 입증했습니다. 아울러 이러한 패러다임은 체화된(embodied) 추론 태스크에 대해서도 유망한 적용 가능성을 보여줍니다.