EA-WM: 작업 명세 그라운딩 기반 이벤트 인식 월드 모델을 이용한 장기간 조작
EA-WM: Event-Aware World Models with Task-Specification Grounding for Long-Horizon Manipulation
한국어 초록
사전학습된 특징 월드 모델은 로봇 상상(robot imagination)에 유용한 기반을 제공하지만, 시각적 예측이나 잠재 예측만으로는 상상된 미래가 작업 관련 이벤트를 충족하는지 판단할 수 없다. 장기간 조작에는 관계적이고 술어 수준(predicate-level)이며 물리적으로 그라운딩된 진행 신호가 필요하다: 물체가 이동했는지, 서랍이나 접촉 상태가 변했는지, 배치 술어가 충족되었는지, 후보 미래가 실행에 충분히 신뢰할 만한지 등을 판단해야 한다. 우리는 동결된 시각 특징 역학(frozen visual-feature dynamics)에 작업 명세 그라운딩 기반 이벤트 예측 및 검증을 더한 이벤트 인식 월드 모델 프레임워크 EA-WM을 제안한다. EA-WM은 사전학습된 시각 특징 공간에서 후보 미래를 롤아웃하고, 이를 구조화된 이벤트 상태로 디코딩한 뒤, 작업 진행도, 의미적 일관성, 물리적 실현 가능성, 불확실성 항을 사용해 점수를 매긴다. 검증기는 샘플링 기반 계획을 안내하고 후보 행동을 게이팅하며, 접촉에 민감한 LIBERO 와인 랙 설정에서는 PPO가 생성한 제안들 중에서 선택한다. 내비게이션, 변형 가능 객체, 벽 제약, 언어 기술 조작 연구 전반에 걸쳐 EA-WM은 이벤트 인식 검증이 특징 공간 월드 모델을 더 해석 가능하게 만들고 작업 진행도와 더 잘 정렬되게 할 수 있음을 보여준다.
원문 초록
Pretrained-feature world models provide a useful substrate for robot imagination, but visual or latent prediction alone does not determine whether an imagined future satisfies task-relevant events. Long-horizon manipulation requires progress signals that are relational, predicate-level, and physically grounded: whether an object has moved, whether a drawer or contact state has changed, whether a placement predicate is satisfied, and whether a candidate future is reliable enough for execution. We introduce EA-WM, an event-aware world-model framework that augments frozen visual-feature dynamics with task-specification-grounded event prediction and verification. EA-WM rolls out candidate futures in pretrained visual-feature space, decodes them into structured event states, and scores them using task-progress, semantic-consistency, physical-feasibility, and uncertainty terms. The verifier guides sampling-based planning, gates candidate actions, and, in the contact-sensitive LIBERO wine-rack setting, selects among PPOgenerated proposals. Across navigation, deformable-object, wall-constrained, and languagedescribed manipulation studies, EA-WM shows that event-aware verification can make featurespace world models more interpretable and better aligned with task progress.
요약
시각적 예측만으로는 작업 관련 이벤트 충족 여부를 판단하기 어려운 장기간 조작 문제를 해결하기 위해, 작업 명세 기반 이벤트 예측 및 검증을 수행하는 EA-WM 프레임워크를 제안한다. 이 프레임워크는 다양한 조작 연구에서 특징 공간 월드 모델의 해석 가능성을 높이고 작업 진행도와 더 잘 정렬되도록 만든다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13053v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 지평선 일관성의 기하학: 잠재 역학이 수축할 때와 그렇지 않을 때
Multi-Horizon Consistency as Geometry: When Latent Dynamics Contract, and When They Do Not
다중 지평선 잠재 일관성은 비디오 예측기와 월드 모델에서 흔한 학습 조절 요소이지만, 실무자들은 이것이 전이 기하학에 어떤 영향을 미치는지 거의 알지 못한다. 우리는 다단계 잠재 합의에 대한 가중치인 lambda를 진단적 제어 변수로 취급하고, 경험적 확장 프록시 L20,q95와 지평선-20 예측 오류 E20을 함께 측정한다. Moving-MNIST에서(임계 쌍에서 n=6 seeds), lambda를 0에서 0.8로 높이면 L20이 4.96 +/- 2.01에서 1.01 +/- 0.06으로 감소한다(paired t p=0.005, Wilcoxon p=0.031)하고 E20은 절반으로 줄어든다(0.365에서 0.177, paired t p=1.1e-13). 6개 seed 중 4개가 lambda=0.8에서 L<1을 넘는다. 동일한 손실은 E20이 개선되는 경우에도 action-conditioned Pendulum-v1이나 CartPole-v1, 또는 KTH Actions 비디오에서 모집단 L<1을 만들어내지 않는다. MMNIST에 대한 연관적 매개 분석은 r-hat=0.94(95% CI [0.88, 1.00], n=27, B=2000)를 제공한다; lambda는 무작위화되지 않았다. 방어적 검증(아키텍처 베이스라인, 외생적 스트레스, WorldTest, MPC, 스케일링)은 대체로 좁은 주장을 뒷받침한다: 소프트 일관성은 수동적(passive) 비디오를 거의 수축적(near-contractive) 구간으로 밀어낼 수 있으며, 그 구간은 도메인에 제한된다. 확률적 forcing 법칙 L20 ~ 1.23 + 1.82 eta at lambda=0.8(bootstrap slope CI [1.73, 1.92], R^2=0.96)은 보정된 eta_eff를 통해 제어 도메인을 동일한 곡선 위에서 통합한다. lambda in {0.4, 1.2}에서의 완전한 공동 슬라이스(30/30 cells, 5 eta x 3 seeds)는 유사한 선형 L20(eta) 기울기(~1.69 및 ~2.00)를 보여준다; 우리는 연속적인 (lambda, eta) 표면을 적합하지 않는다. 우리는 DreamerV3 또는 TD-MPC2 수익(returns)을 보고하지 않는다.
시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.
얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도
How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models
잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.
샘플링 기반 잠재 계획을 위한 제어 기하학 직선화
Control-Geometry Straightening for Sampling-Based Latent Planning
결합 임베딩 예측 아키텍처(joint-embedding predictive architecture)는 잠재 월드 모델(latent world model)을 활용한 계획 수립을 가능하게 하지만, 정확한 전이 예측만으로는 계획 목적 함수를 쉽게 최적화할 수 있음을 보장하지 못합니다. 본 논문에서는 샘플링 효율적인 계획 수립을 위해 제어 기하학(control geometry)을 직접 직선화하여 플래너 친화적인 표현을 학습하는 단일 보조 손실(loss)인 제어 기하학 직선화(Control-Geometry Straightening, CGS)를 제안합니다. CGS는 픽셀-행동 쌍의 국소 전이만을 사용하여 행동 간의 쌍별 코사인 유사도와 이에 대응하는 잠재 차이 간의 코사인 유사도를 일치시킵니다. 이 손실은 종단간 학습된 표현이나 사전학습된 표현을 활용하는 다양한 월드 모델 아키텍처에 적용될 수 있습니다. 선형 역학 하에서 진행된 이론적 분석에 따르면, 이 목적 함수는 시간적 직선화(temporal straightening) 및 전체 계획 기간에 걸친 보다 균형 잡힌 종단 비용 곡률과 연결되며, 이를 통해 MPPI에 대한 유한 예산 보장, CEM에 대한 국소 수축 결과, 경사하강법(gradient descent)에 대한 수렴(convergence) 한계를 도출합니다. 네 가지 제어 환경과 다양한 플래너에 걸친 실험에서, CGS는 더 적은 샘플 후보와 개선 단계로도 계획 성능을 향상시켰으며, 업데이트당 128개의 후보를 사용하는 샘플링 기반 플래너 환경에서 LeWorldModel(LeWM) 및 시간적 직선화 변형(LeWM+TS) 대비 성공률을 각각 최대 20%포인트 및 12.6%포인트 향상시켰습니다. 프로브, DINO-WM 아키텍처와의 비교, 플래너 측면의 절제 연구를 통해 잠재 모션 구조화, 상태 의존성, 역학적 맥락이 계획 동작을 어떻게 형성하는지 명확히 규명합니다. 결과적으로 제어 기하학을 직선화함으로써 제한된 계획 예산 내에서도 우수한 행동 시퀀스를 더 쉽게 찾을 수 있음을 보여줍니다.
JEPA 월드 모델을 활용한 계획 수립에서 표현 기하학의 중요성
Reperesentation Geometry Matters for Planning with JEPA World Models
결합 임베딩 예측형 월드 모델(Joint-embedding predictive world models)은 잠재 예측을 통해 계획 수립(planning)을 지원하지만, 제약 없는 결합 학습(joint training)은 서로 다른 관측치를 동일한 임베딩으로 붕괴(collapse)시킬 수 있습니다. 붕괴를 방지하기 위한 두 가지 대표적인 전략은 DINO-WM처럼 사전학습된 특징을 상속받거나, LeWorldModel(LeWM)처럼 붕괴 방지 정규화를 적용하여 표현을 엔드투엔드로 학습하는 것입니다. 그러나 붕괴를 방지한다고 해서 잠재 공간의 거리가 과업에 중요한 방식으로 결과를 구별해 주는 것은 아닙니다. 예를 들어 물체 조작(object manipulation)에서 성공 여부는 목표 대비 물체의 위치와 방향에 따라 결정됩니다. 이러한 과업 관련 상태 정보는 정확하게 디코딩될 수 있으면서도 잠재 거리에는 거의 영향을 미치지 않을 수 있습니다. 그 결과 발생하는 계획 수립 비용은 예측된 결과가 과업 목표에 얼마나 가까운지를 반영하지 못할 수 있습니다. 본 논문에서는 샘플링된 쌍별(pairwise) 잠재 거리와 과업 관련 상태 공간의 거리 간 상관관계를 형성하는 방법인 SCALE(State-CAlibrated Latent Embeddings)을 제안합니다. LeWM의 기존 목적 함수에 추가되는 SCALE은 기존 아키텍처를 그대로 유지하고, 학습 중에만 특권 상태(privileged state)를 필요로 하며, 계획 수립 시점의 계산량을 추가하지 않습니다. 여러 솔버를 사용한 조작 및 내비게이션 과업 전반에서 SCALE이 LeWM 대비 계획 수립 성공률을 향상시킴을 보이고, SCALE이 계획 수립을 지원하기 위해 표현 기하학(representation geometry)을 어떻게 재구성하는지에 대한 포괄적인 분석을 제공합니다.
Dream-RSI: 진화하는 세계를 통한 재귀적 자기 개선
Dream-RSI: Recursive Self-Improvement through Evolving Worlds
재귀적 자기 개선(recursive self-improvement)은 복잡한 영역 전반에서 고가치 솔루션을 발견하는 능력에 발전이 좌우되는 자율 AI 에이전트(agent)에게 점점 더 필수적인 요소가 되고 있다. 효과적인 탐험(exploration)이 이 과정을 이끌지만, 탐험 전략을 관리하고 개선하는 일은 여전히 주요한 병목으로 남아 있다. 현재 시스템들은 근본적인 딜레마에 직면한다: 고정된 전략은 탐색 공간이 확장됨에 따라 적응하지 못하는 반면, 온라인 정책 최적화는 장기(long-horizon) 롤아웃으로부터 발생하는 지연되고 값비싼 피드백 하에서 방대한 메타 탐색 공간을 탐색해야 한다. 우리는 확장 가능하고 재귀적으로 자기 개선하는 탐험(exploration)을 위한 프레임워크인 Dream-RSI를 소개한다. 경량 오케스트레이션 층(layer)은 기반이 되는 베이스 에이전트(agent)는 그대로 둔 채 탐험(exploration)을 명시적이고 프로그래밍 가능하게 만든다. 우리의 핵심 통찰은 누적된 발견 이력이 실현된 탐색 공간에 대한 리플레이 시뮬레이터로 작동할 수 있다는 것이다. 과거 발견 트리로부터 구축된 이 시뮬레이터 내에서 드리밍(dreaming)함으로써, Dream-RSI는 반복적이고 값비싼 온라인 평가 없이도 탐험(exploration) 정책을 평가하고 개선하기 위한 즉각적이고 저비용의 오프-정책(off-policy) 피드백을 얻는다. 개선된 정책은 이후 추가적인 발견을 이끌기 위해 다시 온라인에 배포되며, 자기 개선 루프 속에서 시뮬레이터 풀을 지속적으로 확장해 나간다. 4개 영역에 걸친 9개 작업에서, Dream-RSI는 경쟁력 있는 품질을 달성하며 여러 설정에서 발견 효율성을 개선한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.