부분적으로 관측 가능한 환경에서의 내비게이션을 위한 생성 모델 기반 예측 계획
Generative-Model Predictive Planning for Navigation in Partially Observable Environments
한국어 초록
부분적으로 관측 가능한 환경에서의 내비게이션은 자율 에이전트에게 중요한 과제이며, 미지의 환경에서 제한된 감각 정보를 바탕으로 효과적인 의사결정을 요구합니다. 특히 신경망을 사용하여 신념 공간을 근사하는 신념(belief) 기반 방법들은, 특히 지각적 별칭(perceptual aliasing)이 존재하는 고차원의 경우에서 신념 공간의 고유한 다중 모성(multimodality)을 포착하는 데 종종 실패합니다. 생성 모델이 매력적인 대안으로 제시되지만, 일반적으로 상당한 양의 데이터나 전문가 시연(demonstration)이 필요하며 장기 계획을 위한 명시적인 메커니즘이 부족합니다. 본 논문에서는 생성과 계획의 이점을 결합한 새로운 프레임워크인 BeliefDiffusion을 소개합니다. BeliefDiffusion은 확산 모델(diffusion models)을 활용하여 다중 모달 신념 분포를 명시적으로 특성화하고, 모델 예측 제어(MPC)를 사용하여 동시에 미래를 계획합니다. 이는 두 단계로 구성됩니다: (1) 관찰 이력을 기반으로 타당한 환경 구성(configuration)을 상상하고, (2) 집계된 구성들에 걸쳐 효율적인 내비게이션 전략을 계획하는 것입니다. 합성 맵 환경에서의 광범위한 실험을 통해, BeliefDiffusion이 내비게이션 성공률과 경로 효율성 측면에서 모델 프리(model-free) 강화학습 기준선 및 다른 생성적 접근 방식보다 유의미하게 우수함을 입증했습니다. 우리의 결과는 부분적으로 관측 가능한 설정에서 계획에 다중 모달 신념 표현을 명시적으로 통합하는 것이 더 강건한 내비게이션을 가능하게 함을 검증합니다.
원문 초록
Navigation in partially observable environments presents a significant challenge for autonomous agents, requiring effective decision-making with limited sensory information in unknown environments. Belief-based methods, particularly those using neural networks to approximate the belief space, often fail to capture the inherent multimodality of belief spaces, especially in high-dimensional cases with perceptual aliasing. While generative models present a compelling alternative, they typically require substantial data or expert demonstrations and lack explicit mechanisms for long-term planning. In this paper, we introduce BeliefDiffusion, a novel framework that combines the benefits of both generation and planning. BeliefDiffusion leverages diffusion models to explicitly characterize multimodal belief distributions and utilizes Model Predictive Control (MPC) to simultaneously plan ahead. It consists of two steps: (1) Imagining plausible environment configurations based on observation history and (2) Planning efficient navigation strategies across an aggregated configurations. Through extensive experiments in synthetic map environments, we demonstrate that BeliefDiffusion significantly outperforms both model-free reinforcement learning baselines and other generative approaches in navigation success rate and path efficiency. Our results validate that explicitly incorporating multimodal belief representations into planning enables more robust navigation in partially observable settings.
요약
부분 관측 가능한 환경 내비게이션을 위해 BeliefDiffusion을 제안하며, 확산 모델로 관찰 이력에 맞는 다중 모달 맵 신념(belief)을 생성하고 모델 예측 제어(MPC)로 여러 후보 구성에 걸쳐 경로를 계획한다. 합성 맵 실험에서 모델 프리 강화학습 및 다른 생성적 접근 대비 내비게이션 성공률과 경로 효율이 유의미하게 높았다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18888v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
검증 가능한 은닉 동역학 플레이: 풀린 메커니즘으로부터 에이전틱 RL 환경 생성
Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms
언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.
Actor-Critic Deep Reinforcement Learning for Solving Job Shop Scheduling Problems
시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다
Code Owns the Simulation, Jev Owns the Evaluation
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법
Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment
능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.