arXiv:2606.12852v1 cs.AI

WISE: Why-Which 추론을 갖춘 Minecraft 장기 에이전트

WISE: A Long-Horizon Agent in Minecraft with Why-Which Reasoning

Renmin Cheng, Changhao Chen

제출 2026-06-11

한국어 초록

Minecraft와 같은 환경에서 LLM 보강 계층적 접근법의 도입을 통해 범용 구현 에이전트(embodied agent) 개발이 빠르게 진전되었다. 그럼에도 불구하고 반복적인 실행 실패로 인해 저수준(low-level) 컨트롤러가 종종 성능 병목이 된다. 핵심 한계는 에피소드 기억(episodic memory)의 부재뿐만 아니라 what-where-when 기억과 which-why 추론의 분리에 있다고 주장한다. 이를 해결하기 위해, 관찰과 작업 관련성을 연결하는 명시적 인과 구조로 에피소드 기억을 보강하는 Causal Event Graph를 갖춘 향상된 저수준 컨트롤러를 포함하는 장기 에이전트 프레임워크 WISE(Which-Why Informed Semantic Explorer)를 제안한다. MrSteve와 같은 선행 연구가 검색에 특징 유사성(feature similarity)에 의존하는 것과 달리, WISE는 시점 변화(viewpoint changes) 하에서도 견고한 회상(recall)을 가능하게 하고 인과적 추론(causal reasoning)을 통해 기회적 작업 재배치(opportunistic task reordering)를 지원한다. 이 기억을 바탕으로, 인과적으로 관련된 기회가 감지되면 하위 작업(subtask)의 우선순위를 동적으로 재조정하는 Opportunistic Task Scheduler를 제안한다. 또한 WISE에 다운스트림 추론(downstream reasoning)을 위한 공간적으로 포괄적인 관찰을 제공하는 다중 스케일 점진적 탐색(multi-scale progressive exploration) 전략을 추가한다. 실험 결과, WISE는 장기 희소(long-horizon sparse) 작업에서 작업 성공률과 효율성을 크게 향상시키며, 특히 적응적 의사결정(adaptive decision-making)이 필요한 설정에서 두드러진다.

원문 초록

Rapid advances have been made in developing general-purpose embodied agent in environments like Minecraft through the adoption of LLM-augmented hierarchical approaches. Despite their promise, low-level controllers often become performance bottlenecks due to repeated execution failures. We argue that a key limitation is not only the lack of episodic memory, but also the decoupling of \textit{what-where-when} memory from \textit{which-why} reasoning. To address this, we propose \textbf{WISE} (Which-Why Informed Semantic Explorer), a long-horizon agent framework with an enhanced low-level controller equipped with a Causal Event Graph that augments episodic memory with explicit causal structure linking observations to task relevance. Unlike prior work such as MrSteve, which relies on feature similarity for retrieval, WISE enables robust recall under viewpoint changes and supports opportunistic task reordering through causal reasoning. Building on this memory, we propose an Opportunistic Task Scheduler that dynamically re-prioritizes subtasks when causally relevant opportunities are detected. We further equip WISE with a multi-scale progressive exploration strategy to provide spatially comprehensive observations for downstream reasoning. Experiments show that WISE largely improves task success and efficiency on long-horizon sparse tasks, particularly in settings requiring adaptive decision-making.

요약

Minecraft 환경의 장기(long-horizon) 에이전트에서 저수준(low-level) 컨트롤러의 성능 병목을 해결하기 위해, 관찰과 작업 관련성을 명시적 인과 구조로 연결하는 Causal Event Graph를 갖춘 WISE 프레임워크를 제안한다. 이는 인과적 추론을 통한 기회적 작업 재배치를 통해 장기 희소 작업에서의 성공률과 효율성을 크게 향상시킨다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12852v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15789v1stat.ML공통 태그 Causal Inference, Sequential Decision Making

적응적 실험에서 정책 개선 가치에 대한 추론

Inference on the Value of Policy Improvement in Adaptive Experiments

본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.

arXiv:2607.22732v1cs.AI공통 태그 Causal Inference, Sequential Decision Making

LLM 게임 에이전트의 공간 추론: 인과적 컨텍스트와 다단계 계획의 영향

Spatial Reasoning in LLM Game Agents: Impact of Causal Context and Multi-Step Planning

대규모 언어 모델(LLM) 기반 게임 에이전트는 종종 더 복잡한 과제에서 낮은 성능을 보인다. 본 연구는 이러한 실패가 제한된 공간적 추론과 연관되는지 검토하고, 인과적 프롬프트 증강과 다단계 계획이 응답 지연(latency)을 관리하면서 승률을 개선할 수 있는지 평가한다. 오픈소스 Qwen3 모델 계열을 사용하여 다양한 모델 규모, 추론 모드, 계획 지평(planning horizon)에 걸쳐 실험을 수행한다. 또한 공간 내비게이션을 분리하기 위해 5개 난이도 수준을 갖춘 3개의 맞춤형 게임으로 구성된 집중형 GVGAI 벤치마크를 도입한다. 평가는 두 가지 패러다임을 따른다: 에이전트가 정확한 좌표를 찾는 능력을 시험하는 초기 ``위치 지정 실험(positioning experiment)''과 게임 플레이 성공에 대한 연구. 결과는 사고(thinking) 모드가 활성화된 더 큰 모델이 자신의 위치를 더 정확하게 식별하지만, 좌표 일치에서의 전반적인 성능은 더 작은 모델에서 여전히 제한적임을 보여준다. 승률은 게임 레벨과 레이아웃 복잡도가 증가함에 따라 감소하며, 이는 벤치마크의 난이도 스케일링을 검증한다. 프롬프트에 인과적 컨텍스트를 통합하면 에이전트의 성공률이 향상되는 경향이 있으며, 특히 더 큰 모델에서 그렇다. 사고 모드와 더 긴 계획 지평을 활성화하면 성능이 크게 향상되지만, 다단계 계획은 평균 단계당 응답 시간을 추가로 줄여 추론 깊이와 실행 속도 사이의 실용적인 절충을 제공한다.

arXiv:2607.15080v1cs.LG공통 태그 Causal Inference, Sequential Decision Making

장기 시간 범위 마르코프 결정 과정에서 공변량 균형 평가

Evaluating covariate balance for long time horizon Markov decision processes

본 글은 최적 치료 권고를 도출하기 위해 오프라인 강화학습(RL)을 적용한 연구에서 숨겨진 교란(hidden confounding) 및 모델 오명(model miss-specification) 존재 여부를 탐지하기 위해 공변량 균형 진단의 적용을 살펴본다. 결과는 치료 권고를 위한 기존 오프라인 강화학습 연구에 바이어스 위험이 높거나, 기존 공변량 균형 지표가 이러한 연구를 평가하기에 충분하지 않음을 보여준다. 어느 경우든, 기존 오프라인 강화학습 연구는 통계적으로 견고하다고 결론 내릴 수 없다. 결론은 치료 권고 문제에 대한 보다 방법론적으로 견고한 오프라인 강화학습 적용을 얻기 위한 향후 연구 방향을 제안한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.