PhysVista: 인지-추론-평가 루프를 통한 VLM의 물리적 지능 벤치마킹
PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop
비전-언어 모델(VLM)은 뛰어난 멀티모달 추론 능력을 보여주었으나, 실제 세계 역학의 기반이 되는 물리적 일관성을 진정으로 포착하고 있는지는 여전히 불분명합니다. 기존 벤치마크 패러다임은 인지, 추론, 물리적 판단 사이의 내재적 시너지를 간과한 채 고립된 인지 단계에만 집중하는 파편화된 평가로 어려움을 겪는 경우가 많습니다. 이러한 총체적 관점의 부재는 최근 등장하는 생성 모델의 물리적 진위성을 VLM이 신뢰성 있게 평가할 수 있는지 진단하는 데 한계를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 인간의 관찰-추론-평가 과정에서 영감을 얻은 폐쇄형 인지 루프 프레임워크를 통해 VLM의 물리적 지능을 평가하도록 설계된 벤치마크인 PhysVista를 소개합니다. PhysVista는 물리적 상태 인지, 물리적 역학 추론, 물리적 타당성 평가를 공동으로 평가함으로써 이 루프를 복원합니다. 또한 물리적 이해에 대한 세분화된 분석을 가능하게 하기 위해 사건 수준 추론과 스케일 수준 추론을 구분합니다. 이에 더해 PhysVista는 실제 영상과 AI 생성 영상을 모두 포함하여 다양한 도메인과 새롭게 부상하는 생성 시나리오 전반에 걸친 평가를 가능하게 합니다. 다양한 VLM 세트를 대상으로 한 광범위한 실험을 통해 물리적 추론 및 타당성 평가에서 상당한 한계가 드러났으며, 이는 시각적 인식과 진정한 물리적 이해 사이에 지속적인 격차가 존재함을 부각하고 물리적으로 기반을 둔(physically grounded) 멀티모달 지능을 위한 보다 원칙적인 설계 방향을 제시합니다.