VLM-in-Sandbox: 에이전틱 시각 추론을 위한 시각 워크스페이스
VLM-in-Sandbox: Visual Workspaces for Agentic Visual Reasoning
샌드박스형 컴퓨터 환경은 도구, 실행 가능한 프로그램, 지속적 파일을 활용한 다단계 추론을 지원하지만, 언어 모델에서 비전-언어 모델(VLM)로 확장할 때 별도의 상태 관리 문제가 발생한다. 시각 추론은 크롭, 마스크, 오버레이, 확대 영역, 분석 렌더링 등 이미지 값을 갖는 중간 증거를 생성하며, 이는 다중모달 컨텍스트에 무한정 누적되지 않으면서도 계속 참조 가능해야 한다. 우리는 제어된 컴퓨터 환경에서 에이전틱 다중모달 추론을 위한 학습 없는 프레임워크인 VLM-in-Sandbox를 제안한다. Visual Workspace는 생성된 산출물을 이미지 원장(image ledger)에 등록하고, 유한한 활성 시각 컨텍스트를 유지하며, 모델이 후속 검사를 위해 선택한 증거를 명시적으로 승격(promote)할 수 있게 한다. 이는 샌드박스 도구가 수행하는 시각 증거 생성과 시각 증거 관리를 분리한다. 7개 벤치마크와 4개 기본 VLM에 걸쳐 VLM-in-Sandbox는 Vanilla VLM, Append-only Sandbox, 제안 방법 중 표본 가중 평균 정확도가 가장 높다. 컴파일러 일치(compiler-matched) $2\times2$ 연구에서 1,260개 예시로 모델이 지시하는 가시성과 유한 보존을 추가로 분리한다. VLM-in-Sandbox는 자동 retain-all 대조군 대비 총 토큰이 18.6% 적은 상태에서 66.27% 정확도에 도달한다. 제출된 GPT-4.1-mini 예시 6,350개 전체에서 Original Append-only 대비 302건의 구제(rescue)와 142건의 퇴보(regression)를 만든다. 접두 문맥(prefix) 캐싱을 사용한 로컬 vLLM 연구는 더 작은 요청 워크로드가 캐시되지 않은 토큰, 첫 토큰까지의 시간(time to first token), 종단 간(end-to-end) 지연시간도 줄인다는 것을 확인한다. 이 결과는 명시적 시각 증거 상태가 샌드박스형 VLM 에이전트의 핵심 추상화임을 밝힌다.