VISTA: 상호작용적 세계에서의 추론을 위한 시각 하네스
VISTA: A Visual Harness for Reasoning in an Interactive World
본 논문에서는 멀티모달 모델이 강력한 추론 능력을 지니고 있으며, 적절한 하네스(harness)를 통해 다양한 상호작용 환경에서 과제를 해결하는 모델의 잠재력을 이끌어낼 수 있음을 보여줍니다. 저자들은 범용 멀티모달 모델에 장기적(long-horizon) 시각 능력을 부여하는 시각 하네스인 VISTA를 소개합니다. VISTA는 모델이 시각적 관측을 통해 환경을 직접 인식할 수 있도록 하며, 과거 관측을 원본 형태 그대로 보존하는 무손실 시각 메모리를 유지합니다. 모델은 이러한 관측을 능동적으로 검색하고 추론 과정에서 시각적 입력을 재구성할 수 있습니다. ARC-AGI-3에서 VISTA는 Claude Opus 5.0의 상대적 인간 행동 효율성(Relative Human Action Efficiency) 점수를 40.68에서 완벽한 100.00으로 끌어올렸으며, 모델은 최초 참여 인간보다 57.4% 더 적은 행동을 사용하여 25개 공개 게임 전체를 완수했습니다. 또한 VISTA의 단순한 설계 덕분에 최소한의 조정만으로도 다양한 시각적 환경에 자연스럽게 확장될 수 있습니다. 다양한 시각 게임 및 퍼즐을 다루는 3개의 추가 벤치마크 전반에서, 동일한 기본 모델에 최소한의 하네스를 적용한 베이스라인을 크게 능가했습니다. 이러한 결과는 복잡한 시각 환경에서 멀티모달 에이전트를 발전시키기 위한 범용 시각 하네스로서 VISTA의 잠재력을 강조합니다.