arXiv:2610.31511v2 cs.AI

DuoCook: 시각적 계획과 협업을 위한 Overcooked 기반 벤치마크

DuoCook: An Overcooked-Inspired Benchmark for Visual Planning and Coordination

Ziyi Jiao, Heng Zhang, Drishti Regmi, Xiaokang Ye, Lianhui Qin, Peter Yichen Chen

제출 2026-11-19

한국어 초록

요리 과제에서 두 플레이어를 조율하려면 비전-언어 에이전트가 변화하는 장면 상태를 추적하고, 레시피 단계를 순서화하며, 시간 제한 하에서 공유 자원을 할당해야 한다. 본 논문은 코딩 에이전트를 사용해 구축한 언리얼 엔진 환경에서 이러한 능력을 평가하는 Overcooked 기반 벤치마크를 소개한다. 단일 비전-언어 모델이 \rev{플레이어별 별도 의사결정 호출을 통해} 하향식 시각 관측으로부터 두 플레이어를 모두 제어하며, 엔진이 내비게이션을 수행하는 동안 고수준 행동과 \rev{이미지에 표시된 목표 셀}을 선택한다. 벤치마크는 다섯 범주의 20개 맵으로 구성된다. 이 범주들은 장비 경합, 변화하는 지형, 인계 의존성 하에서의 \rev{두 플레이어} 협업 평가를 지원한다. 소품 범례와 냄비 재료 개수 표시기는 명시적인 시각 단서를 제공하고, 격자 기반 목적지는 공간 그라운딩을 지원한다\rev{. 텍스트는 스테이션 좌표를 제공하지 않으므로 목표 위치는 주로 이미지에서 얻어진다}. 평가는 \rev{20개 맵 전체에서 다섯 개의 VLM과 특권 정보를 가진 스크립트 기준 정책}을 비교하며, 과제 점수, 주문 완료, 배달 정밀도, \rev{조준 정확도}, 모델 API 비용을 측정한다. \rev{20개 맵 전체에 대한 두 개의 짝지은 절제 실험은 공유되는 자기 작성 노트북을 켜고 끄며, 이미지는 고정한 채 텍스트 프롬프트를 약 3,600단어에서 약 440단어로 줄인다.} \rev{가장 강한 모델은 주문의 35\%를 완료하며 정답 스테이션 정보에 접근할 수 있는 스크립트 기준 정책을 능가한다. 노트북의 효과는 부호가 일관되지 않고 통계적으로 신뢰할 만하지 않으며, 프롬프트 텍스트를 줄이면 두 모델의 점수는 낮아지고 나머지 세 모델은 거의 변하지 않는다.} 종합하면 이 환경 설계와 평가 프로토콜은 시각적 상태 추적과 과제 스케줄링이 협업 요리 행동에 어떻게 기여하는지 탐구하기 위한 틀을 제공한다.

원문 초록

Coordinating two players in a cooking task requires a vision-language agent to track changing scene states, sequence recipe steps, and allocate shared resources under a time budget. We introduce an Overcooked-inspired benchmark for evaluating these capabilities in Unreal Engine environments constructed using coding agents. A single vision-language model controls both players from top-down visual observations \rev{through separate per-player decision calls}, selecting high-level actions \rev{and image-labeled target cells} while the engine executes navigation. The benchmark contains 20 maps in five categories. These categories support evaluation of \rev{two-player} coordination under equipment contention, changing terrain, and handoff dependencies. A prop legend and pot ingredient-count indicators provide explicit visual cues, while grid-based destinations support spatial grounding\rev{; text gives no station coordinates, so target locations come mainly from the image}. The evaluation compares \rev{five VLMs and a privileged scripted reference policy on all 20 maps}, measuring task score, order completion, delivery precision, \rev{aim accuracy}, and model API expenditure. \rev{Two paired ablations on all 20 maps toggle a shared self-authored notebook and reduce the textual prompt from about 3,600 to about 440 words while keeping the images fixed.} \rev{The strongest model completes 35\% of orders and exceeds the scripted reference, which has ground-truth station access; the notebook's effect is mixed in sign and not statistically reliable, and reducing the prompt text lowers the score of two models while leaving the other three nearly unchanged.} Together, the environment design and evaluation protocol provide a framework for investigating how visual state tracking and task scheduling contribute to coordinated cooking behavior.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.31511v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.