PyTorchKR Papers

최신 논문

총 147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00012v2cs.AI

인과적 세계 모델은 모듈형 LLM 에이전트에 언제 도움이 되는가

When Do Causal World Models Help Modular LLM Agents

LLM agents increasingly operate in modular systems, where planning requires coordinating multiple functional components whose actions can causally change downstream states and behaviors. This makes intervention-aware prediction essential: an agent must anticipate not only what is likely to happen next, but what will happen as a consequence of its own actions. We find that purely observational world models can incur irreducible intervention-time error in such systems, even when they accurately model observational trajectories. To address this limitation, we propose CausalCompose, a causal world-model framework that equips modular LLM agents with causal structure for intervention-aware prediction and planning. We theoretically show that causal composition can overcome this intervention gap with sufficient evidence and controlled local error. Experiments across diverse modular agent environments validate these results: incorporating causal structure consistently improves intervention-sensitive reasoning and planning, with particularly clear gains in structured tool-use systems where causal dependencies directly govern action execution. Our results show when causal world models help modular LLM agents: when causal dependencies are identifiable and actionable for planning.

arXiv:2610.13912v1cs.CL

RSI-Anything: 월드 모델(World Model)을 통한 재귀적 자기개선의 실현

RSI-Anything: Unlocking Recursive Self-Improvement with World Models

재귀적 자기개선(Recursive Self-Improvement, RSI)은 상호작용 경험을 지속적인 개선으로 전환하는 것을 목표로 하지만, 외부 피드백은 비용이 많이 들고 정책(policy)이 진화함에 따라 월드 모델(world model)의 예측이 신뢰할 수 없게 될 수 있다. 우리는 JEPA-Anything을 기반으로 구축된 도메인 범용(domain-general) 프레임워크인 RSI-Anything을 소개하며, 이는 예측적 월드 모델을 사용하여 행동 및 학습 데이터 선택을 안내한다. 관찰된 피드백은 정책 또는 워크플로우 개선과 조건부 월드 모델 적응(adaptation)을 이끌며, 구성요소 및 호환성 검사가 업데이트된 정책-모델 쌍의 유지 여부를 결정한다. 다양한 계산 및 과학 도메인에서 RSI-Anything은 상당한 성능 향상을 보여준다. 코드 수정(code repair) 과제에서, 코더(coder)를 고정한 상태로 성공률은 정적 검증기(static verifier)를 사용할 때 26.3%였으나, 예측적 선택(predictive selection)을 통해 29.2%로, 월드 모델 적응 이후에는 31.2%로 증가했으며, 이는 비슷한 테스트 사용량에서 달성되었다. 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 평가에서는 과제 완료율이 더 높아졌으며, 평균 행동 수는 39.4% 감소했다. 연속된 5개의 정책 버전에 걸쳐, 실험실 계획(laboratory-planning) 점수는 21.80%에서 46.01%로 두 배 이상 증가했다. 반응 최적화(reaction optimization)에서, RSI-Anything은 동일한 40회 실험 예산 하에서 평균 최고 관측 수율(mean best observed yield) 96.15%를 달성했으며, 이는 베이지안 최적화(Bayesian optimization)의 82.16%와 대비된다. 더 나아가, 엔드투엔드(end-to-end) 면역학(immune-science) 응용에서는 워크플로우 진화와 예측 모델링을 치료적 가설 생성(therapeutic hypothesis generation)과 연결한다. 이러한 결과는 예측적 월드 모델과 유지된 시스템 업데이트가 다양한 환경에서 재귀적 개선을 가능하게 하는 방식을 보여준다.

arXiv:2610.13504v1cs.LG

시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델

Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.

arXiv:2610.10778v1cs.LG

MemoWM: 월드 모델이 에이전트가 기억해야 할 대상을 어떻게 변화시키는가

MemoWM: How World Models Change What Agents Need to Remember

장기 에이전트(agent)는 경험이 축적됨에 따라 증가하는 스토리지 요구량 문제에 직면합니다. 월드 모델(world model)은 각 경험마다 저장해야 하는 정보량을 줄일 수 있는 재사용 가능한 규칙성을 포착합니다. 본 논문에서는 월드 모델에 조건화된 메모리 할당 문제를 공식화하고, 공유된 예측을 활용하여 보존되는 정보를 압축하고 생략된 콘텐츠를 재구성하는 프레임워크인 MemoWM을 제안합니다. MemoWM의 작업 인식(task-aware) 할당 규칙은 재구성 오류의 예상 영향과 스토리지 비용 간의 균형을 맞추어, 예측 사전 확률(predictive prior)을 넘어서는 다운스트림 가치를 지닌 정보를 보존합니다. 5개의 장기 에이전트 메모리 벤치마크(benchmark)에서 MemoWM은 평균 42.42%의 정답 정확도를 달성하여 가장 강력한 기준선(baseline)을 2.62% 포인트 앞섰으며, 스토리지 효율성이 가장 높은 기준선인 MIRIX 대비 평균 경험별 스토리지 사용량을 53.9% 줄였습니다. 추가 분석에 따르면 더 강력한 월드 모델일수록 유사한 작업 품질에서 경험당 스토리지 요구량을 감소시키는 것으로 나타났습니다. 모델 파라미터를 고려했을 때 공유 모델 용량과 반복적인 스토리지 비용 사이의 절충 관계가 드러나며, 더 많은 상호작용이 유지될수록 전체 스토리지를 최소화하는 용량 또한 증가합니다. 코드는 https://github.com/Feld-maxiu/MemoWM 에서 확인할 수 있습니다.

arXiv:2610.04988v2cs.LG

얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도

How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models

잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.

arXiv:2609.33563v2cs.LG

MA-JEPA: 다중 에이전트 강화학습을 위한 결합 임베딩 월드 모델

MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning

월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.

arXiv:2609.19142v3cs.CV

PointZero: 전이 가능한 3D 동역학 학습을 위한 3D 포인트 트랙 완성

PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics

월드 모델(world model)은 지각 시스템에 상호작용에 따라 장면이 어떻게 변화하는지를 예측하는 능력을 부여한다. 월드 모델은 다양한 양의 데이터로 학습되었을 때 가장 큰 이점을 가지며, 이를 통해 다운스트림 응용에 풍부한 사전 지식(prior)을 심어줄 수 있다. 기존 방법들은 행동 조건화된(action-conditioned) 3D 동역학을 학습하기 위해 일반적으로 로봇 행동 레이블을 필요로 하며, 이는 웹 비디오 데이터를 학습 풀에서 제외시킨다. 우리는 로봇 데이터 없이 전이 가능한 3D 동역학을 학습하기 위한 사전학습 목표로서 3D 포인트 트랙 완성을 연구한다. 단일 RGB-D 관측과 희소한 부분 3D 궤적(트랙)이 주어졌을 때, 우리는 관측된 모든 점들의 미래 3D 트랙을 예측한다. 우리는 이 목표가 로봇 행동 레이블을 필요로 하지 않고도 풍부한 3D 동역학 사전 지식을 생성함을 보인다. 우리는 변형 가능한(deformable), 관절형(articulated), 그리고 견고한(rigid) 객체를 포괄하는 290만 개의 합성 프레임으로 구성된 다양한 데이터셋을 제공하며, 이를 사용해 PointZero를 학습시킨다. 우리는 유연하고 표현력이 풍부한 트랜스포머인 PointZero가 동일한 데이터에서 기존 방법들을 능가함을 보인다. 우리는 PointZero를 두 가지 다운스트림 응용, 즉 (1) 행동 조건화된 3D 동역학 예측과 (2) 모방 학습(imitation learning)을 위해 사후 학습함으로써 우리의 사전학습 목표의 유용성을 입증한다. 엔드이펙터(end-effector) 자세를 조건으로 하도록 파인튜닝되었을 때, PointZero는 최근의 PGND 3D 동역학 벤치마크에서 베이스라인들을 능가한다. 로봇 행동과 3D 트랙을 예측하도록 파인튜닝되었을 때, PointZero는 7개 중 6개의 시뮬레이션 및 실제 로봇 조작 과업에서 베이스라인들을 능가하거나 동등한 성능을 보인다. 우리는 또한 제안한 아키텍처의 이점과 제안한 사전학습 목표 및 데이터셋의 이점을 분리하기 위해 PointZero를 처음부터(from scratch) 학습시키는 실험도 평가한다. 우리는 데이터셋, 체크포인트, 그리고 전체 학습 레시피를 공개한다.

arXiv:2607.02403v2cs.RO

ACID: 월드 모델 기반 플래닝을 위한 역동역학을 통한 행동 일관성

ACID: Action Consistency via Inverse Dynamics for Planning with World Models

행동 조건부 월드 모델(action-conditioned world model)을 사용한 의사결정 시점 플래닝(decision-time planning)은 체화된 제어(embodied control) 분야에서 널리 쓰이는 패러다임이 되었습니다. 그러나 표준 플래닝 비용은 예측된 종단 상태가 목표에 얼마나 가까운지만으로 후보를 평가하므로, 중간 전이(intermediate transition)의 실현 가능성을 확인하지 않은 채로 둡니다. 즉, 예측된 궤적은 그럴듯해 보이지만 실제 환경 롤아웃은 이로부터 벗어날 수 있습니다. 본 논문에서는 순환 행동 일관성(cycle action consistency)을 도입한 의사결정 시점 플래닝 프레임워크인 ACID를 제안합니다. 이는 역동역학 모델(inverse dynamics model)을 통해 예측된 전이로부터 역방향으로 추론된 행동이 원래 조건으로 부여되었던 행동을 복원해야 한다는 원리입니다. 우리는 척도 불변(scale-invariant) 적응형 가중치를 통해 이러한 단계별 잔차를 플래닝 비용에 반영합니다. 시뮬레이션 환경에서의 물체 조작 및 다관절 제어, 시각적 내비게이션, 실제 로봇 조작을 아우르는 8가지 과제와 4가지 행동 조건부 월드 모델 전반에서, ACID는 플래닝 성능을 일관되게 향상시키며 훨씬 적은 플래닝 연산량으로도 기준선의 정확도에 도달합니다.

arXiv:2607.01736v3cs.LG

RSSM 월드 모델에서의 보상 관찰 가능성과 오프라인 체크포인트 선택의 한계

Reward Observability and the Limits of Offline Checkpoint Selection in RSSM World Models

우리는 Gymnasium의 LunarLander-v3에서 인간 시연(human demonstration) 데이터로 학습된 순환 상태공간모델(recurrent state-space model, RSSM) 월드 모델(world model)의 폐루프(closed-loop) 특성을 연구한다. 우리는 학습된 월드 모델을 제로샷(zero-shot) CEM 모델예측제어(model-predictive control, MPC)와 상상(imagination) 내 액터-크리틱(actor-critic, A2C) 학습에 사용한다. 100개의 홀드아웃(held-out) 에피소드로 평가했을 때, 선택된 모델 기반 A2C 정책(월드 모델 체크포인트 280에서 학습됨)은 평균 리턴(mean return) +189.5를 달성하여, 최고의 모델-프리(model-free) A2C 체크포인트(+183.7; 각각 600스텝 및 1000스텝 에피소드 상한)와 대등한 성능을 보이면서도 실제 학습 전이(transition)는 약 65배 더 적게 사용했다. 우리는 또한 월드 모델 MPC를 성공적인 시연 데이터로 학습된 행동 복제(behaviour-cloning, BC) 정책과 비교한다. BC 정책은 확률적(stochastic) 행동 선택 하에서만 MPC의 평균 리턴과 대등한 성능을 보이며, 동일한 20개 에피소드에서 MPC에는 없는 하나의 치명적인(catastrophic) 에피소드가 발생한다. 이어서 우리는 선형화된 잠재 동역학(latent dynamics)의 관측 가능한 부분공간(observable subspace) 내에서 보상 그래디언트(reward gradient)의 유클리드 비율(Euclidean fraction)인 보상 관찰 가능성 비율(Reward Observability Fraction, ROF)을 도입하고, 이후 H개의 관측(observation)이 이 부분공간 내의 모든 방향에 대해서는 피셔 정보(Fisher information)를 가지지만 그와 직교하는 방향에 대해서는 전혀 가지지 않음을 보인다. 그러나 ROF 자체는 잠재 변수(latent)가 어떻게 스케일링(scaling)되는지에 의존한다. 즉, 잠재 변수를 재스케일링(rescaling)하면 모델은 변하지 않지만 ROF는 변하므로, 원시(raw) 수치 수준은 모델 간에 직접 비교할 수 없다. 보상 헤드(reward head)를 사후분포로 보정된(posterior-corrected) 잠재 변수 z에 강제로 연결하면 ROF가 상승하며, 이 상승은 우리가 테스트한 두 실행(run) 쌍에 대한 좌표 불변성(coordinate-invariant) 검증을 통과한다. 마지막으로, 우리는 ROF 또는 다른 오프라인 지표(metric)가 MPC의 폐루프 붕괴(collapse)를 예측할 수 있는지를 검증한다. 붕괴는 동일한 데이터와 설정(configuration)을 가진 학습 실행들 사이에서도 서로 다르게 나타난다. ROF는 이를 예측하지 못하며, 우리가 선별(screening)한 108개의 오프라인 요약 지표(summary) 중 어느 것도 순열 검정(permutation test)을 통과하지 못했고, 가장 유력한 후보조차 새로운 실행에서는 실패한다. 모델과 로그 데이터만으로 붕괴를 오프라인에서 예측하는 문제는 여전히 미해결 과제로 남아 있다.

arXiv:2609.35603v2cs.LG

샘플링 기반 잠재 계획을 위한 제어 기하학 직선화

Control-Geometry Straightening for Sampling-Based Latent Planning

결합 임베딩 예측 아키텍처(joint-embedding predictive architecture)는 잠재 월드 모델(latent world model)을 활용한 계획 수립을 가능하게 하지만, 정확한 전이 예측만으로는 계획 목적 함수를 쉽게 최적화할 수 있음을 보장하지 못합니다. 본 논문에서는 샘플링 효율적인 계획 수립을 위해 제어 기하학(control geometry)을 직접 직선화하여 플래너 친화적인 표현을 학습하는 단일 보조 손실(loss)인 제어 기하학 직선화(Control-Geometry Straightening, CGS)를 제안합니다. CGS는 픽셀-행동 쌍의 국소 전이만을 사용하여 행동 간의 쌍별 코사인 유사도와 이에 대응하는 잠재 차이 간의 코사인 유사도를 일치시킵니다. 이 손실은 종단간 학습된 표현이나 사전학습된 표현을 활용하는 다양한 월드 모델 아키텍처에 적용될 수 있습니다. 선형 역학 하에서 진행된 이론적 분석에 따르면, 이 목적 함수는 시간적 직선화(temporal straightening) 및 전체 계획 기간에 걸친 보다 균형 잡힌 종단 비용 곡률과 연결되며, 이를 통해 MPPI에 대한 유한 예산 보장, CEM에 대한 국소 수축 결과, 경사하강법(gradient descent)에 대한 수렴(convergence) 한계를 도출합니다. 네 가지 제어 환경과 다양한 플래너에 걸친 실험에서, CGS는 더 적은 샘플 후보와 개선 단계로도 계획 성능을 향상시켰으며, 업데이트당 128개의 후보를 사용하는 샘플링 기반 플래너 환경에서 LeWorldModel(LeWM) 및 시간적 직선화 변형(LeWM+TS) 대비 성공률을 각각 최대 20%포인트 및 12.6%포인트 향상시켰습니다. 프로브, DINO-WM 아키텍처와의 비교, 플래너 측면의 절제 연구를 통해 잠재 모션 구조화, 상태 의존성, 역학적 맥락이 계획 동작을 어떻게 형성하는지 명확히 규명합니다. 결과적으로 제어 기하학을 직선화함으로써 제한된 계획 예산 내에서도 우수한 행동 시퀀스를 더 쉽게 찾을 수 있음을 보여줍니다.

arXiv:2606.09499v2cs.RO

월드 모델을 표적으로 삼아 로봇 학습 파이프라인 무력화하기

Targeting World Models to Compromise Robot Learning Pipelines

월드 모델(world model)은 로봇 학습(training) 데이터를 생성하거나 실제 환경을 시뮬레이션하기 위한 데이터 효율적인 도구로서 최근 활용도와 성능 측면에서 급격한 성장을 이루었으며, 다수의 연구에서 이를 로봇 학습 파이프라인에 통합할 것을 제안하고 있습니다. 본 연구에서는 월드 모델이 매우 실용적임에도 불구하고 로봇 학습 공급망에 매우 은밀하고 효과적인 데이터 오염(data poisoning) 유입 경로를 만들어 내며, 겉보기에 안전해 보이는 정답(ground truth) 학습 데이터를 사용하더라도 안전하지 않거나 손상된 로봇 정책(policy)이 배포되는 결과를 초래할 수 있음을 입증합니다. 판매되거나 업로드된 데이터셋에 위험한 궤적을 직접 삽입하는 기존의 데이터 오염 기법과 달리, 본 논문에서 제안하는 새로운 공격 기법은 겉보기에 안전한 원격 조작(teleoperation) 데이터셋에 악성 프롬프트(prompt)나 시스템을 손상시키는 전이 동역학(transition dynamics)을 주입하며, 이는 월드 모델의 입력으로 처리될 때에만 활성화됩니다. 이는 합성된 위험한 로봇 학습 궤적을 생성하고 결과적으로 안전하지 않거나 오염된 로봇 정책으로 이어질 수 있습니다. 저자들은 최첨단 행동 조건부(action-conditioned) 및 텍스트 조건부(text-conditioned) 월드 모델 모두에서 본 공격의 효과를 입증하여, 다운스트림 심층 강화학습(DRL) 정책에 대한 완전한 엔드투엔드 백도어와 비전-언어-행동(VLA) 환경에서의 개념 증명(proof-of-concept)을 제시합니다. 전반적으로 이러한 연구 결과는 보다 안전한 월드 모델에 대한 연구의 필요성과 로봇 학습 공급망 내에서 월드 모델의 위치를 재평가해야 함을 시사합니다.

arXiv:2606.08775v2cs.RO

객체 중심 월드 모델과 확산 정책의 통합: 다단계 로봇 작업을 위한 계층적 프레임워크

Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks

시각적 월드 모델(visual world model)은 복잡한 시스템 동역학을 학습하는 데 뛰어난 잠재력을 보여주었습니다. 최근의 발전은 이러한 모델을 모델 예측 제어(MPC) 프레임워크 내의 전이 함수(transition function)로 활용하여 다양한 제어 작업을 해결하고 있습니다. 그러나 로보틱스에 적용할 경우, 도달(reaching)이나 파지(grasping)와 같은 단일 단계 작업에 국한되며, 복잡한 순차적 계획을 요구하는 다단계 작업에서는 어려움을 겪습니다. 본 연구에서는 다단계 로봇 조작을 위해 설계된 월드 모델 프레임워크인 WorldDP를 소개합니다. 제안하는 계층적 접근 방식은 상위 수준의 월드 모델을 전이 함수로 활용하여 런타임 중에 실현 가능한 하위 목표(subgoal)를 최적화하며, 이는 이후 하위 수준의 확산 정책(Diffusion Policy)을 통해 도달됩니다. 동역학 학습과 계획 수립을 더욱 지원하기 위해 환경 내 개체를 분리하고 각 개체에 대해 순차적으로 계획할 수 있도록 하는 객체 중심(object-centric) 표현을 통합합니다. 여러 로보틱스 벤치마크에서 평가한 결과, WorldDP는 기존 베이스라인을 일관되게 능가하며, 월드 모델의 물리적으로 기반한(grounded) 계획과 확산 정책의 효율적인 실행을 결합하는 것이 우수한 다단계 성능을 낳음을 입증합니다. 프로젝트 페이지: https://raktimgg.github.io/worlddp-website/.

arXiv:2609.32921v2cs.LG

월드 모델을 위한 적응형 잠재 용량

Adaptive Latent Capacity for World Models

본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.

arXiv:2609.14858v2cs.CL

Dream-RSI: 진화하는 세계를 통한 재귀적 자기 개선

Dream-RSI: Recursive Self-Improvement through Evolving Worlds

재귀적 자기 개선(recursive self-improvement)은 복잡한 영역 전반에서 고가치 솔루션을 발견하는 능력에 발전이 좌우되는 자율 AI 에이전트(agent)에게 점점 더 필수적인 요소가 되고 있다. 효과적인 탐험(exploration)이 이 과정을 이끌지만, 탐험 전략을 관리하고 개선하는 일은 여전히 주요한 병목으로 남아 있다. 현재 시스템들은 근본적인 딜레마에 직면한다: 고정된 전략은 탐색 공간이 확장됨에 따라 적응하지 못하는 반면, 온라인 정책 최적화는 장기(long-horizon) 롤아웃으로부터 발생하는 지연되고 값비싼 피드백 하에서 방대한 메타 탐색 공간을 탐색해야 한다. 우리는 확장 가능하고 재귀적으로 자기 개선하는 탐험(exploration)을 위한 프레임워크인 Dream-RSI를 소개한다. 경량 오케스트레이션 층(layer)은 기반이 되는 베이스 에이전트(agent)는 그대로 둔 채 탐험(exploration)을 명시적이고 프로그래밍 가능하게 만든다. 우리의 핵심 통찰은 누적된 발견 이력이 실현된 탐색 공간에 대한 리플레이 시뮬레이터로 작동할 수 있다는 것이다. 과거 발견 트리로부터 구축된 이 시뮬레이터 내에서 드리밍(dreaming)함으로써, Dream-RSI는 반복적이고 값비싼 온라인 평가 없이도 탐험(exploration) 정책을 평가하고 개선하기 위한 즉각적이고 저비용의 오프-정책(off-policy) 피드백을 얻는다. 개선된 정책은 이후 추가적인 발견을 이끌기 위해 다시 온라인에 배포되며, 자기 개선 루프 속에서 시뮬레이터 풀을 지속적으로 확장해 나간다. 4개 영역에 걸친 9개 작업에서, Dream-RSI는 경쟁력 있는 품질을 달성하며 여러 설정에서 발견 효율성을 개선한다.

arXiv:2608.16287v3cs.LG

JEPA 월드 모델을 활용한 계획 수립에서 표현 기하학의 중요성

Reperesentation Geometry Matters for Planning with JEPA World Models

결합 임베딩 예측형 월드 모델(Joint-embedding predictive world models)은 잠재 예측을 통해 계획 수립(planning)을 지원하지만, 제약 없는 결합 학습(joint training)은 서로 다른 관측치를 동일한 임베딩으로 붕괴(collapse)시킬 수 있습니다. 붕괴를 방지하기 위한 두 가지 대표적인 전략은 DINO-WM처럼 사전학습된 특징을 상속받거나, LeWorldModel(LeWM)처럼 붕괴 방지 정규화를 적용하여 표현을 엔드투엔드로 학습하는 것입니다. 그러나 붕괴를 방지한다고 해서 잠재 공간의 거리가 과업에 중요한 방식으로 결과를 구별해 주는 것은 아닙니다. 예를 들어 물체 조작(object manipulation)에서 성공 여부는 목표 대비 물체의 위치와 방향에 따라 결정됩니다. 이러한 과업 관련 상태 정보는 정확하게 디코딩될 수 있으면서도 잠재 거리에는 거의 영향을 미치지 않을 수 있습니다. 그 결과 발생하는 계획 수립 비용은 예측된 결과가 과업 목표에 얼마나 가까운지를 반영하지 못할 수 있습니다. 본 논문에서는 샘플링된 쌍별(pairwise) 잠재 거리와 과업 관련 상태 공간의 거리 간 상관관계를 형성하는 방법인 SCALE(State-CAlibrated Latent Embeddings)을 제안합니다. LeWM의 기존 목적 함수에 추가되는 SCALE은 기존 아키텍처를 그대로 유지하고, 학습 중에만 특권 상태(privileged state)를 필요로 하며, 계획 수립 시점의 계산량을 추가하지 않습니다. 여러 솔버를 사용한 조작 및 내비게이션 과업 전반에서 SCALE이 LeWM 대비 계획 수립 성공률을 향상시킴을 보이고, SCALE이 계획 수립을 지원하기 위해 표현 기하학(representation geometry)을 어떻게 재구성하는지에 대한 포괄적인 분석을 제공합니다.

arXiv:2605.07079v2cs.CV

잔차 잠재 행동을 통한 시각적 특징 기반 월드 모델 학습

Learning Visual Feature-Based World Models via Residual Latent Action

월드 모델(world model)은 관측과 행동으로부터 미래의 전이를 예측합니다. 기존 연구들은 주로 이미지 생성에만 집중하고 있습니다. 반면, 시각적 특징(feature) 기반 월드 모델은 원본 비디오 픽셀 대신 미래의 시각적 특징을 예측하여 더 효율적이고 환각(hallucination)이 덜 발생하는 유망한 대안을 제시합니다. 그러나 현재의 특징 기반 접근법들은 직접적인 회귀에 의존하여 복잡한 상호작용에서 흐릿하거나 붕괴된 예측을 초래하며, 고차원 특징 공간에서의 생성 모델링은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 DINO 잔차(residual)로부터 잔차 잠재 행동(Residual Latent Action, RLA)이라 명명한 새로운 유형의 잠재 행동 표현을 쉽게 학습할 수 있음을 발견했습니다. 또한 RLA가 예측 가능하고 일반화 가능하며 시간적 진행을 인코딩함을 보여줍니다. RLA를 기반으로, 플로우 매칭(flow matching)을 통해 RLA 값을 예측하는 RLA 월드 모델(RLA-WM)을 제안합니다. RLA-WM은 시뮬레이션 및 실제 데이터셋에서 최첨단 특징 기반 및 비디오 확산(video-diffusion) 월드 모델을 능가하면서도, 비디오 확산 모델보다 수주기(orders of magnitude) 더 빠릅니다. 나아가 RLA-WM을 활용하여 정책 학습을 개선하는 두 가지 로봇 학습 기법을 개발했습니다. 첫 번째는 행동 정보가 없는(actionless) 비디오로부터 학습하여 LIBERO 및 실제 로봇에서 VLA를 개선하는 RLA 기반의 미니멀리스트 월드 액션 모델입니다. 두 번째는 온라인 상호작용 없이 오프라인 비디오만으로 학습된 월드 모델 내부에서 전적으로 학습되는 시각적 강화학습(RL) 프레임워크로, 비디오 정렬 보상(reward)을 사용합니다. 프로젝트 페이지: https://mlzxy.github.io/rla-wm

arXiv:2608.19779v2quant-ph

월드 모델과 현실의 정렬에서 나타나는 기약 양자 이점

An Irreducible Quantum Advantage in Aligning World Models with Reality

월드 모델(world model)은 실제 세계의 디지털 시뮬라크르를 제공하여, 비용이 많이 드는 실제 환경 배치 이전에 에이전트(agent)를 학습하고 테스트할 수 있도록 돕는다. 각 타임스텝마다 월드 모델은 행동을 입력받아 실제 세계의 통계와 일치하는 관측값 및 보상(reward)을 생성한다. 현재의 결과가 먼 과거의 사건에 의존하는 복잡한 환경에서는 메모리가 필요하다. 흔히 메모리를 늘림으로써 실제 세계와 가상 세계의 최적 에이전트 정책을 정렬(alignment)할 수 있을 만큼 항상 충분히 정확한 모델을 구축할 수 있을 것이라 기대할 수 있다. 본 논문에서는 실제 세계 자체가 고전적(classical)일 때조차도 고전적 월드 모델에 대해서는 이러한 가정이 거짓임을 보인다. 연구진은 모든 유한 고전 모델이 동일한 가능한 궤적 상에서 실패하는 실제 세계들을 구성한다. 즉, 실제 세계가 특정 행동을 명확히 선호할 때 행동을 구분하는 능력을 상실하거나, 차선의 행동에 가장 높은 기대 보상을 반복적으로 부여한다. 또한 기대 보상 추정치에는 사라지지 않는 평균 오차가 지속적으로 남는다. 반면, 이러한 각각의 실제 세계는 단일 큐트리트(qutrit)를 사용하여 해당 환경을 정확히 재현하는 양자 월드 모델을 허용한다. 이 양자 모델의 보상 추정치와 선호 행동은 항상 실제 세계의 것과 일치하여, 실제 세계와 가상 세계의 최적 정책이 완벽하게 정렬되도록 보장한다.

arXiv:2512.09929v2cs.LG

그래디언트 기반 플래닝을 위한 월드 모델의 학습-테스트 격차 해소

Closing the Train-Test Gap in World Models for Gradient-Based Planning

모델 예측 제어(MPC)와 결합된 월드 모델(world model)은 대규모 전문가 궤적 데이터셋을 통해 오프라인으로 학습(training)될 수 있으며, 추론(inference) 시점에 광범위한 플래닝 작업으로의 일반화를 가능하게 합니다. 느린 탐색 알고리즘이나 최적화 문제를 반복적으로 정확히 푸는 방식에 의존하는 전통적인 MPC 절차와 비교했을 때, 그래디언트(gradient) 기반 플래닝은 계산 효율적인 대안을 제공합니다. 그러나 그래디언트 기반 플래닝의 성능은 지금까지 다른 접근 방식들에 비해 뒤처져 있었습니다. 본 논문에서는 효율적인 그래디언트 기반 플래닝을 가능하게 하는 월드 모델 개선 학습 방법을 제안합니다. 우리는 월드 모델이 다음 상태 예측 목표로 학습되지만, 테스트 시점에는 일련의 행동 순서를 추정하는 데 사용된다는 관찰에서 출발합니다. 본 연구의 목표는 이러한 학습-테스트 격차(train-test gap)를 좁히는 것입니다. 이를 위해 기존 월드 모델에서 크게 개선된 그래디언트 기반 플래닝을 가능하게 하는 학습 시점 데이터 합성 기법을 제안합니다. 테스트 시점에 우리의 접근 방식은 10%의 시간 예산만으로도 다양한 물체 조작 및 내비게이션 작업 전반에서 고전적인 그래디언트 미사용 교차 엔트로피(cross-entropy) 방법(CEM)보다 우수하거나 동등한 성능을 달성합니다.

arXiv:2610.03137v1cs.AI

프레임의 움직임이 적을 때 JEPA 월드 모델의 계획 수립 가능성을 유지하는 방법

Keeping JEPA World Models Plannable When Little of the Frame Moves

목표 프레임 대신 언어로 목표를 지정하는 방식은 잠재 월드 모델(latent world model)을 사용한 계획 수립(planning)에 자연스러운 인터페이스이지만, 이를 검증하려면 언어가 여러 객체를 구별해야 하는 장면이 필요합니다. 본 연구에서는 여러 개의 작은 객체와 동일한 장면에 대한 시각적 및 언어 목표 쌍으로 구성된 밀기 벤치마크인 SLIM을 구축했습니다. SLIM에서 PushT를 해결하는 LeWM 월드 모델은 시뮬레이터 상태를 사용하는 스크립트 컨트롤러가 모든 단계를 해결함에도 불구하고 1% 미만의 시도에서만 성공합니다. 프로브 분석 결과 인코더에서 실패의 원인을 찾아냈습니다. 인코더의 잠재 상태는 행동에 거의 반응하지 않으며, 푸셔(pusher)나 객체의 위치를 디코딩할 수 없고, 롤아웃은 현재 잠재 상태를 그대로 복사해 전달하는 수준에 불과합니다. 인코더 잠재 상태와 예측된 잠재 상태 모두에 공유 헤드를 통해 적용되며 테스트 시점에는 폐기되는 단 하나의 역동역학(inverse-dynamics) 보조 손실(loss)만으로 모든 프로브를 회복하고 성공률을 0.003에서 0.35로 끌어올렸으며(목표 무관 정책의 점수가 0인 고난도 밀기 단계에서는 0.16), 학습된 지평의 2배 길이에서도 PushT 성능을 향상시켰습니다. 대조군 분석을 통해 이러한 개선이 인코더로 유입되는 그래디언트(gradient) 덕분임을 확인했으며, 반응도 조사를 통해 기본 모델 또한 행동에 반응하는 프레임 영역이 충분해지면 계획을 수립할 수 있음을 보였습니다. 환경(environment) 접근 없이도 계산 가능한 저비용의 행동 민감도 프로브는 경험적 필요조건으로 작용하여 임계값 미만의 모든 설정에서 계획 수립에 실패했습니다. 복구된 잠재 공간 위에서는 소형 언어 목표 헤드가 월드 모델의 재학습 없이도 문장으로부터 계획을 수립합니다. 내비게이션에서 0.84에 도달하고(시각 목표 오라클은 1.00), 유인물(decoy)과 자리가 바뀌더라도 지정된 영역을 추적하며, 보지 못한 명사에 대해서도 완만하게 성능 저하를 보입니다. 단일 목표 문장으로는 밀기를 완수하기 어렵지만, 밀기 작업을 일련의 단계별 문장 시퀀스로 제공하면 중간 및 고난도 밀기 단계에서 헤드의 성공률이 0.04에서 목표 프레임 오라클 수준인 0.25로 향상되며, 단계 간의 전환을 잠재 상태에서만 읽어내는 경우에도 동일한 성과를 거둡니다.

arXiv:2608.25572v2cs.RO

ConfAL-WM: 행동 조건부 월드 모델을 위한 신뢰도 기반 능동 학습

ConfAL-WM: Confidence-Guided Active Learning for Action-Conditioned World Models

행동 조건부 월드 모델(action-conditioned world models)은 임바디드(embodied) 예측, 계획 및 합성 데이터 생성을 위한 중요한 기반이 되었으나, 새로운 태스크 및 장면 분포에서 발생하는 오차는 로봇 팔, 조작 대상 객체, 접촉 영역, 가려진 객체와 같은 국소적인 시공간 영역에 집중되는 경우가 많습니다. 본 논문에서는 임바디드 월드 모델의 사후 학습을 위한 신뢰도 기반 능동 학습(active learning) 프레임워크인 ConfAL-WM을 제안합니다. EnerVerse-AC(EVAC)를 기반으로 UNet 디코더 특징에 경량 신뢰도 프로브(probe)를 부착하고 잠재 공간에서 조밀한 신뢰도 맵(dense confidence map)을 예측합니다. 이러한 맵은 태스크, 프레임, 패치 수준 점수로 집계되어 데이터 예산 할당과 국소적 학습 강화를 가능하게 합니다. 제안하는 파이프라인은 프로브를 학습하고 소규모 타깃 도메인 서브셋에서 EVAC을 웜업합니다. 이후 EVAC-v1은 태스크 수준 데이터 획득 신호와 선택적인 프레임/패치 가중치 신호를 제공하며, 선택된 데이터로 학습되는 모든 모델은 재학습을 위해 원래의 사전학습된 EVAC 체크포인트에서 초기화됩니다. 기본 40% 데이터 예산을 적용한 RoboTwin2.0 실험 결과, 신뢰도 기반 선택이 사후 학습 품질을 향상시키는 동시에 조밀한 프레임 및 패치 가중치 부여가 스칼라 보상, 진행도, 심사자(judge) 기반 채점 베이스라인과 비교하여 상호보완적인 재구성 및 의미론적 성능 향상을 제공함을 보여줍니다. 본 연구의 간략한 시각적 개요는 https://ConfAL-WM.github.io 에서 확인할 수 있습니다.