본 논문에서는 멀티모달 모델이 강력한 추론 능력을 지니고 있으며, 적절한 하네스(harness)를 통해 다양한 상호작용 환경에서 과제를 해결하는 모델의 잠재력을 이끌어낼 수 있음을 보여줍니다. 저자들은 범용 멀티모달 모델에 장기적(long-horizon) 시각 능력을 부여하는 시각 하네스인 VISTA를 소개합니다. VISTA는 모델이 시각적 관측을 통해 환경을 직접 인식할 수 있도록 하며, 과거 관측을 원본 형태 그대로 보존하는 무손실 시각 메모리를 유지합니다. 모델은 이러한 관측을 능동적으로 검색하고 추론 과정에서 시각적 입력을 재구성할 수 있습니다. ARC-AGI-3에서 VISTA는 Claude Opus 5.0의 상대적 인간 행동 효율성(Relative Human Action Efficiency) 점수를 40.68에서 완벽한 100.00으로 끌어올렸으며, 모델은 최초 참여 인간보다 57.4% 더 적은 행동을 사용하여 25개 공개 게임 전체를 완수했습니다. 또한 VISTA의 단순한 설계 덕분에 최소한의 조정만으로도 다양한 시각적 환경에 자연스럽게 확장될 수 있습니다. 다양한 시각 게임 및 퍼즐을 다루는 3개의 추가 벤치마크 전반에서, 동일한 기본 모델에 최소한의 하네스를 적용한 베이스라인을 크게 능가했습니다. 이러한 결과는 복잡한 시각 환경에서 멀티모달 에이전트를 발전시키기 위한 범용 시각 하네스로서 VISTA의 잠재력을 강조합니다.
시각적 세계를 지각하고 기억하는 것은 환경을 탐색하고 상호작용하는 데 필수적입니다. 카메라 제어가 가능한 비디오 모델이나 4D 재구성 모델과 같은 최신 4D 파운데이션 모델은 동적 환경을 지각하고 재구성할 수 있지만, 지각한 내용을 얼마나 잘 기억하는지는 여전히 미해결 과제로 남아 있습니다. 기존 벤치마크는 주로 픽셀 수준의 지표에 의존하며, 객체가 시야(field of view)를 벗어난 후에는 정답(ground truth)이 부족하여 참조 대비 객체 중심 방식으로 시각적 기억을 평가할 수 없습니다. 이러한 공백을 메우기 위해 본 논문에서는 전방위 정답(ground truth)으로 360{\deg} 비디오를 활용하고 객체 영속성(object permanence), 움직임 연속성(motion continuity), 외형 보존(appearance preservation)의 세 가지 평가 측면을 제안하는 데이터셋이자 메트릭 스위트인 PersistBench를 소개합니다. 다양한 범주에 걸쳐 여러 모델을 평가한 결과, 현재 모델들은 객체가 시야를 벗어나면 크게 저하되는 단기적 일관성만을 유지할 수 있음을 확인했습니다. 본 연구 결과는 현재 모델 역량과 견고한 시각적 기억 사이의 격차("보는 것이 기억하는 것은 아니다")를 강조하며, 향후 4D 파운데이션 모델 개발을 위한 지침을 제공합니다. 데이터셋과 코드는 프로젝트 페이지(https://guangzhaohe.com/persistbench)에서 확인할 수 있습니다.
에이전트 기억에 대한 연구는 빠르게 성숙해 왔지만, 거의 전적으로 텍스트 측면에 집중되어 있다. 기존 벤치마크 중 상호작용 환경에서 에이전트가 기록할 수 있는 내용이 아니라 실제로 본 것을 기억해야 하는 순간을 묻는 사례는 거의 없다. 우리는 멀티모달 에이전트 시각 기억을 위한 최초의 상호작용형 벤치마크인 DMV-Bench(Code: https://github.com/yyyujintang/DMV-Bench)를 제안한다. DMV-Bench는 1,000개 제품 변형으로 구성된 통제된 가구·인테리어 전자상거래 카탈로그 위에 구축되며, 텍스트 누출 계약(text-leakage contract)을 통해 각 과제의 판별 신호를 픽셀에만 남긴다. 자율 쇼핑 세션의 연쇄 과정에서 방문한 모든 제품 이미지에는 고유하게 사전 렌더링된 부수적 단서가 포함되며, 이후 에이전트는 특정 단서가 붙은 제품을 회상하고 해당 URL로 이동하도록 요청받는다. 이중 부호화 이론(dual-coding theory)에서 영감을 받아, 시각 코드와 언어 코드를 병렬로 유지하는 기억 아키텍처 DualMem을 제안한다. DMV-Bench에서 DualMem은 Gemini 2.5 Flash와 Qwen2.5-VL-7B 모두에서 체인 길이 J ∈ {5, 10, 15, 50}의 모든 구간에서 캡션 기준선과 최근의 멀티모달 에이전트 기억 시스템 3종을 능가하며, 이 우위는 메모리 뱅크 크기와 인코딩 위치 바이어스에 대한 통제를 거친 뒤에도 유지된다. 또한 시각 채널이 단서를 처음부터 끝까지 담당하고 언어 채널은 더 작은 쿼리 그라운딩(query-grounding) 역할을 하는 비대칭적 이중 부호화 체계가 관찰된다.
장기 로봇 조작에서 메모리는 여전히 핵심 병목이며, 표준 비전-언어-행동(VLA) 정책은 과업 관련 단서가 시간이 지나면서 가려지거나 관측 불가능해질 때 자주 실패한다. 기존 메모리 증강(memory-augmented) 방법들은 역사적 맥락을 활용하지만, 심각한 정보 병목에 시달리거나, 분리된 이중 시스템으로 인해 높은 지연(latency)을 발생시키거나, 선택성 없는 버퍼에 의존하여 대량의 시각적 중복을 축적한다. 이러한 한계를 해결하기 위해, 우리는 희소 시각적 증거 메모리(sparse visual evidence memory) 개념에 기반한 종단간(end-to-end) 프레임워크인 EventVLA를 제안한다. 이 프레임워크는 두 가지 핵심 구성 요소로 이루어진다: 초기 및 단기 맥락을 유지하는 기초 시각 앵커(foundational visual anchors), 그리고 동적 키프레임 증거 메모리(Keyframe Evidence Memory, KEM) 모듈. 구체적으로, KEM은 VLA의 잠재 임베딩(latent embeddings)으로부터 미래 키프레임 확률을 직접 예측하여, 희소하고 과업에 핵심적인 시각적 이벤트를 자율적으로 포착하고 저장한다. 이 선견(foresight) 기반 메커니즘은 정책이 현재 관측의 미래 인과적 유용성을 동적으로 평가하도록 하여, 일시적인 시각적 증거가 관측 불가능해지기 전에 이를 보존한다. 또한 우리는 상호작용적 시각적 증거가 있는 비마르코프(non-Markovian) 조작 과업을 평가하기 위해 특별히 설계된 진단 벤치마크인 RoboTwin-MeM을 제안한다. 광범위한 평가 결과, 17개의 메모리가 필요한 시뮬레이션 과업과 4개의 실세계 양손(bimanual) 과업 전반에서 EventVLA는 최신 메모리 증강 VLA 대비 평균 성공률을 +40% 향상시킨다.