MineExplorer: 마인크래프트에서 MLLM 에이전트의 오픈월드 탐험 능력 평가
MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft
한국어 초록
멀티모달 대규모 언어 모델(MLLM)은 인지, 추론, 행동 생성에서 강력한 능력을 보여 왔습니다. 그러나 동적인 오픈월드에서 탐험(exploration)을 지속하는 능력은 여전히 불분명합니다. 기존의 체화(embodied) 및 게임 기반 벤치마크는 상호작용을 단기(short-horizon) 작업으로 압축하거나, 성공 여부를 도메인 특화 게임 메커니즘과 결부시키는 경우가 많습니다. 본 논문에서는 마인크래프트(Minecraft)에서 MLLM 에이전트의 오픈월드 탐험 능력을 평가하기 위한 MineExplorer 벤치마크를 소개합니다. 먼저 일반적인 오픈월드 추론을 더 잘 반영하기 위해, 해결 과정이 마인크래프트 특화 지식에 크게 의존하는 원자적(atomic) 작업을 걸러냅니다. 그런 다음 ReAct 스타일의 역량 정식화를 중심으로 벤치마크를 구성하고, 원자적 작업들을 암묵적 멀티홉(multi-hop) 작업으로 조합합니다. 신뢰할 수 있는 인스턴스를 추가로 구축하기 위해, MineExplorer는 작업 그래프, 샌드박스 장면, 규칙 기반 마일스톤 평가기를 함께 설계하는 다중 에이전트 합성 워크플로우를 사용합니다. 인간 평가 결과, 다중 에이전트 합성 워크플로우는 단일 에이전트 기준선(baseline)보다 유의미하게 더 신뢰할 수 있는 인스턴스를 생성하는 것으로 나타났습니다. 최신 MLLM 에이전트를 대상으로 한 실험에서, 강력한 모델은 많은 단일 홉 작업을 처리할 수 있지만 숨겨진 전제 조건을 더 긴 궤적에 걸쳐 조율해야 할 때는 성능이 급격히 저하되어, 오픈월드 탐험이 여전히 어려운 과제임을 확인했습니다. 추가 분석 결과, 작업 난이도는 에이전트의 작업 완료 정도와 함께 변하며, 더 큰 모델이나 사고(thinking) 모드가 항상 더 나은 성능으로 이어지는 것은 아님을 발견했습니다. 코드와 데이터셋은 https://github.com/meituan-longcat/MineExplorer 에서 확인할 수 있습니다.
원문 초록
Multimodal large language models (MLLMs) have shown strong capabilities in perception, reasoning, and action generation. However, their ability to sustain exploration in dynamic open worlds remains unclear. Existing embodied and game-based benchmarks often compress interaction into short-horizon tasks or entangle success with domain-specific game mechanics. In this paper, we introduce MineExplorer benchmark for evaluating open-world exploration capabilities of MLLM agents in Minecraft. We first filter atomic tasks whose solutions rely heavily on Minecraft-specific knowledge to better reflect general open-world reasoning. Then we organize the benchmark around a ReAct-style capability formulation and compose atomic tasks into implicit multi-hop tasks. To further construct reliable instances, MineExplorer uses a multi-agent synthesis workflow that jointly designs task graphs, sandbox scenes, and rule-based milestone evaluators. Human evaluation shows that the multi-agent synthesis workflow produces significantly more reliable instances than a single-agent baseline. Experiments with advanced MLLM agents show that open-world exploration remains challenging, as strong models can handle many single-hop tasks but degrade sharply when hidden prerequisites must be coordinated over longer trajectories. Further analysis finds that task difficulty tracks agent completion, and larger models or thinking modes do not consistently translate into better performance. Code and dataset are available at https://github.com/meituan-longcat/MineExplorer.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.30931v4제출 시각 미확인
- arXiv:2605.30931v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.