월드 액션 플래너: 행동 조건부 월드 모델을 활용한 일반화 가능한 로봇 의사결정
World Action Planner: Generalizable Robot Decision-Making with Action-Conditioned World Models
한국어 초록
다양한 응용 분야를 위한 일반화 가능한 로봇 에이전트(agent)를 구축하는 것은 여전히 근본적인 과제로 남아 있습니다. 모방 학습(imitation learning) 기반 정책은 친숙한 학습(training) 환경에서는 우수한 성능을 보일 수 있지만, 새로운 장면, 배치, 태스크 구성에 대해서는 일반화하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 논문에서는 에이전트가 행동 조건부 월드 모델(action-conditioned world model)을 통한 상상을 거쳐 실행 가능한 행동 계획을 탐색하고 구성하는 에이전틱 로봇 계획 시스템인 World Action Planner를 제안합니다. 이 탐색은 대략적인 단계에서 세부적인 단계(coarse-to-fine)로 진행됩니다. 먼저 에이전트는 상상된 월드 모델 롤아웃(rollout)을 바탕으로 추론하여 잠재적 실패를 식별하고 제안된 행동 계획을 개선함으로써 전역적 행동 최적화(global action optimization)를 수행합니다. 그런 다음 로컬 행동 탐색을 수행하여 인접한 후보들의 상상된 미래 결과를 비교함으로써 실행할 최적의 행동을 선택합니다. 구성적 장기(long-horizon) 태스크, 새로운 객체 배치, 그리고 전문가 시연이 없는 새로운 태스크에 대한 실제 로봇 계획 전반에 걸쳐, World Action Planner는 최신 엔드투엔드 범용 정책 모델 및 VLM 플래너보다 지속적으로 우수한 성능을 보여주며 일반화 가능한 로봇 의사결정을 위한 월드 모델 기반 행동 탐색의 효과를 입증합니다. 정성적 결과와 비디오는 https://worldactionplanner.github.io/ 에서 확인할 수 있습니다.
원문 초록
Building generalizable robot agents for diverse applications remains a fundamental challenge. While imitation learning-based policies can perform well in familiar training environments, they often struggle to generalize to novel scenes, layouts, and task compositions. To this end, we present World Action Planner, an agentic robot planning system in which the agent searches for and composes executable action plans through imagination with an action-conditioned world model. The search proceeds in a coarse-to-fine manner. First, the agent performs global action optimization by reasoning over imagined world-model rollouts to identify potential failures and refine the proposed action plan. It then performs local action search, comparing the imagined future outcomes of neighboring candidates to select the best action for execution. Across compositional long-horizon tasks, novel object layouts, and real-robot planning on novel tasks without expert demonstrations, World Action Planner consistently outperforms state-of-the-art end-to-end generalist policy models and VLM planners, demonstrating the effectiveness of world-model-based action search for generalizable robot decision making. Qualitative results and videos are available at https://worldactionplanner.github.io/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.27599v2
- arXiv:2607.27599v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법
Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment
능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.
RoboTalk: 다중 모달 시연으로부터 다중 로봇 통신 및 조율 학습하기
RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations
다중 로봇 협업은 복잡한 로봇 작업에 대해 더욱 효율적이고 확장 가능한 해결책을 가능하게 할 수 있지만, 부분 관측 가능성(partial observability) 하에서의 협업은 여전히 도전 과제로 남아 있습니다. 자연어 통신은 부분 관측 가능성 하에서 로봇들을 조율하기 위한 유망한 접근 방식을 제공합니다. 그러나 탈중앙화된 조작(decentralized manipulation)에서, 온디바이스 배포를 목표로 하는 소형 비전-언어 모델(VLM)이 다중 모달(multimodal) 시연으로부터 명시적인 로봇 간 통신과 스킬 수준의 행동 선택을 공동으로 학습하는 것은 아직 충분히 연구되지 않았습니다. 이러한 공백을 해결하기 위해, 소형 VLM이 통신하고 조율하도록 학습(training)시키기 위한 53개의 모바일 조작 주방 작업에 걸친 7,950개의 다중 모달 궤적으로 구성된 합성 데이터 생성 파이프라인 및 데이터셋인 RoboTalk을 소개합니다. 이 데이터셋에는 리더-팔로워 계획 프로토콜, 도구 호출(인식, 조작, 내비게이션, 통신), 추론 과정(rationale traces), 그리고 다양화된 자연어 통신이 포함되어 있습니다. 오픈소스 모델을 본 데이터셋으로 미세조정(fine-tuning)하면 새로운 미공개(held-out) 작업에서 77%의 성공률에 도달할 수 있으며, 이는 약 ~2%의 성공률을 보였던 미세조정되지 않은 기존 오픈소스 모델 대비 대폭 향상된 결과입니다.
얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도
How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models
잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.
Amadeus: 인간 모델들이 만날 때
Amadeus: When Models of People Meet
AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.
에이전트 오류 데이터셋: 실패 분석 및 오류 인식 사후 학습을 위한 50,000개 오류-진단 쌍 확장
Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training
실패한 대규모 언어 모델(LLM) 에이전트 롤아웃(rollout)은 최종 보상(reward) 이상의 정보, 즉 에이전트가 이용할 수 있었던 관찰값, 에이전트가 선택한 행동, 그리고 환경(environment)의 반응을 담고 있습니다. 이러한 경험을 학습(training)에 재사용하려면 수정해야 할 결정을 식별하고 구체적인 대안을 검증해야 합니다. 본 연구에서는 텍스트 기반 에이전트 시스템의 33개 환경, 19개 하네스 제품군, 23개 정책 모델에 걸친 9,961개 소스 작업에서 수집된 50,228개의 오류-진단 쌍으로 구성된 에이전트 오류 데이터셋(Agent Error Dataset, AED)을 소개합니다. 우리는 원래 롤아웃을 반복하지 않고도 다양한 설정 간 실패 분석 및 재진단을 지원할 수 있도록 소스 추적 기록과 실행 메타데이터를 보존합니다. 본 논문의 5단계 에이전틱 오류-학습(Agentic Error-to-Training, AET) 파이프라인은 자연스럽게 발생한 실패를 수집하고, 진단 및 제안된 수정 사항을 생성하며, 기록된 증거를 바탕으로 이를 검증합니다. 리플레이(replay)가 지원되는 환경에서는 일치하는 실행 설정 하에 동일한 체크포인트(checkpoint)로부터 원래 행동을 재시도한 결과와 수정 사항을 비교합니다. 그런 다음 진단 및 액터 복구를 위한 별도의 학습 뷰를 구성합니다. 3,062개의 매칭된 리플레이 쌍 전반에서 첫 번째로 제안된 수정 사항은 검증기 통과율을 18.4%에서 51.1%로 높여 32.7%p의 향상을 달성했습니다. 별도로 동결된 진단 릴리스를 사용하여 1,656개 소스 작업에 대해 전체 진단 미세조정(fine-tuning)을 수행한 결과, 943개 케이스의 홀드아웃(holdout)에서 3개 시드 평균으로 Qwen3-8B의 내부 교사 라벨과의 정확한 단계 일치율이 47.2%에서 63.6%로 향상되었습니다. 이 비교에서 가장 강력한 프롬프트 기반 참조 모델은 54.7%를 기록했으며, 4단계로 증가하는 학습 세트 크기마다 평균 일치율이 향상되었습니다. 액터 학습 레시피에 대한 단일 시드 비교에서, 행동 전용 복구 학습은 WebShop-lite에서 성공 전용 학습보다 6.67%p 더 높은 점수를 기록했습니다.
월드 모션 모델: SE(3) 궤적의 유연한 시퀀스 모델링
World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories
인공 에이전트(agent)에게 공간 지능을 부여하려면 동적 3D 세계에 대한 포괄적인 생성형 사전 확률(generative prior)이 필요합니다. 본 논문에서는 희소한 SE(3) 포즈 궤적을 통해 시간에 걸쳐 "무엇이 어디에 있었고, 현재 어디에 있으며, 앞으로 어디에 있을 것인가"를 포착하는 월드 모션 모델(World Motion Models, WMM)을 제안합니다. WMM은 동적 장면의 요소들이 4D 모델링을 위한 최소한이면서도 표현력이 뛰어난 프리미티브인 강체 SE(3) 궤적 집합으로 잘 근사될 수 있다는 관찰에 기반합니다. 이러한 표현은 다관절 객체, 인체, 손-객체 상호작용, 구분적 강체(piecewise-rigid) 장면 역학, 카메라 움직임, 나아가 로봇 상태와 행동까지 단일 공유 공간으로 통합합니다. 이 표현을 바탕으로 저자들은 토큰별 노이즈 레벨을 적용한 플로우 매칭(flow-matching)을 활용하여 이러한 엔티티들의 결합 분포를 유연한 시퀀스 모델링 문제로 정식화합니다. 비순차적 조건화를 위한 컨텍스트 토큰 메커니즘과 결합된 이 정식화는 임의의 수의 엔티티와 타임스텝에 걸쳐 임의 대 임의(any-to-any) 주변 조건화를 지원합니다. 미래 예측, 모션 인필링(motion infilling), 모델 예측 제어(MPC), 역기구학(IK), 교차 임바디먼트 리타기팅(cross-embodiment retargeting), 정책 학습과 같은 태스크들은 모두 동일한 네트워크 위에 서로 다른 마스크를 적용하는 문제로 귀결됩니다. 3D 비전 및 로보틱스의 6가지 다양한 응용 분야에 대한 실험은 WMM의 다재다능함과 유연성, 그리고 뛰어난 성능을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page at worldactionplanner.github.io