PyTorchKR Papers

최신 논문

총 121편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03391v2cs.CV

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2606.31399v3cs.AI

World-Model Collapse as a Phase Transition

Water looks unchanged as it warms, then at a critical point it boils. We ask whether long-horizon language agents show an analogous transition in their ability to maintain an accurate representation of the evolving world state. In some parameter settings, a small change in a task parameter, or adding a single step to the task, leaves behavior nearly unchanged; near a critical boundary, the same small change causes a sudden collapse. We study this effect in a deterministic task family where the true world state is known at every step. A large grid search over state size, state dependency, horizon, number of available actions, observation mode, and frequency of state changes reveals a phase diagram: a low-stress region where the agent consistently succeeds, a narrow region where success drops sharply, and a high-stress region where the agent consistently fails. Step-by-step traces show the mechanism: the agent loses track of the true world before its actions become invalid, so the agent is not merely choosing a bad action; it is acting from a corrupted world. Stronger models reach the critical boundary later but do not eliminate the sharp transition. These results make world-model collapse a measurable bottleneck for long-horizon agents. Code will be made publicly available soon.

arXiv:2606.03159v4cs.CV

NVIDIA OmniDreams: 폐루프 자율주행 차량 시뮬레이션을 위한 실시간 생성형 월드 모델

NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation

자율주행 차량의 능력이 발전함에 따라, 롱테일 시나리오에서 주행 정책의 안전한 평가는 여전히 핵심 병목으로 남아 있다. 폐루프(closed-loop) 시뮬레이션에서는 주행 정책 모델이 환경과 능동적으로 상호작용하며, 그 행동이 시뮬레이터 상태를 동적으로 갱신하고 다음에 생성되는 센서 관측값에 직접 영향을 미친다. 최근의 재구성(reconstruction) 기반 신경망 시뮬레이터는 사실적인 시각 품질(photorealism)을 제공하지만, 근본적으로 초기 캡처 데이터에 제약받으며 고도로 동적인 장면이나 새로운 장면으로의 일반화에 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 OmniDreams를 제안한다. OmniDreams는 Cosmos 확산(diffusion) 모델로부터 중간 학습 및 사후 학습된 기반 생성형 월드 모델로, 실시간으로 행동 조건부(action-conditioned) 영상을 자기회귀(autoregressively)적으로 생성한다. Cosmos의 풍부한 시각적 사전 지식(prior)을 활용하고 2만 1천 시간의 주행 시나리오에 대한 중간 학습 및 사후 학습을 통해, OmniDreams는 극한 기상 조건이나 예측 불가능한 동적 에이전트 행동과 같이 기존 시뮬레이터가 포착하기 어려운 복잡하고 관측되지 않은 현상을 합성한다. 중요하게도, OmniDreams는 과거 프레임, 현재 시뮬레이터 상태, 그리고 즉각적인 주행 행동에 조건을 걸어 사실적인 센서 데이터 생성을 자기회귀적으로 수행한다. Alpamayo 1 정책 모델과 AlpaSim 오케스트레이터와 함께 폐루프 시스템에 배치되었을 때, OmniDreams는 고도로 반응적인 환경으로 작동하며, 차세대 자율주행 정책의 학습과 평가를 위한 확장 가능하고 포괄적인 솔루션을 제공한다. 또한 OmniDreams로부터 사후 학습된 월드-행동 모델(WAM)이 Physical AI Autonomous Vehicles NuRec 데이터셋에서 강력한 성능을 달성하며, 총 파라미터 수의 1/5만 사용하면서 VLA 기반 Alpamayo 1.5 연구용 정책 모델을 능가한다는 예비 결과를 제시한다. 이 결과는 OmniDreams와 같은 실시간 월드 모델이 정책 아키텍처의 백본(backbone)으로도 활용될 수 있는 잠재력을 보여준다.

arXiv:2610.13740v2cs.RO

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

World-action models (WAMs) jointly predict robot actions and future observations, but their video diffusion backbones are costly for edge deployment. We introduce SmolWAM, a compact latent WAM derived from the 2B-parameter Cosmos Policy using single-frame encoding, cached text features with preserved attention sinks, depth pruning, and token compaction. With 12 of 28 transformer blocks and 1,008 tokens, SmolWAM predicts actions and future latents in one rectified-flow step. After 3.6 A100 GPU-hours of training, it achieves 95.5% success over 400 LIBERO episodes at 57ms, 2.3TFLOP, and 2.4GiB per 16-action chunk on an A100: 11x lower latency and 3.2x lower memory than the five-step teacher. Its world head predicts scene motion; joint training improves success by 6.2 percentage points over an action-only ablation.

arXiv:2607.22535v2cs.RO

로봇 렌더링을 통한 로봇 요인 분리 월드 모델

Robot-Factored World Models via Robot Rendering

Action-conditioned video world models predict future observations from an initial observation and an action signal. We propose robot-factored world models (RoFacto), which move two robot-specific factors outside the world model to separate action realization from scene-response prediction. First, action realization: each command sequence is rolled through the robot's own controller and kinematics without scene contact into a deployment-available nominal trajectory that does not require future realized states. Second, robot rendering: this nominal trajectory is rendered through the robot URDF, factoring the robot's geometry, kinematics, and appearance out of the model and into explicit rendered robot geometry. Paired end-effector and scene depth provide geometric cues for contact and occlusion, while camera-aware static RGB context and rendered robot geometry form a shared visual interface across viewpoints and embodiments through which the model learns scene responses. Our experiments show that the rendered interface outperforms vector-conditioned baselines, supports transfer to unseen robot embodiments, and generates robot manipulation videos from retargeted human demonstrations.

arXiv:2608.23927v3cs.CV

GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상

GlanceWAM: Sparse Test-Time Imagination for World-Action Models

Video generative models provide rich physical priors for robot learning, yet existing world-action models (WAMs) face a fundamental trade-off: synchronous video generation at control rate is latency-prohibitive, while abandoning test-time visual imagination sacrifices task success. We show that visual imagination achieves both real-time inference and superior success rates when generated asynchronously off the critical path and consumed directly in latent space. We introduce GlanceWAM, which decouples imagination from control on a single shared video DiT backbone: an asynchronous proposer glances ahead on a slow clock to imagine a single lookahead frame seconds into the future in the background, while an action head decodes action chunks at control rate (48 ms) purely in latent space without blocking. Enabled by a non-interfering attention mask that isolates video representations and staleness-robust horizon training that accommodates asynchronous lookahead aging, GlanceWAM breaks the speed-success dilemma. Trained purely on demonstrations, it attains 72.2% on the 24-task RoboCasa kitchen benchmark (vs. 67.1% for synchronous Cosmos Policy) and 99.0% on LIBERO while cutting per-chunk control latency 24x relative to synchronous world-action models (48 ms on one A100). In single-arm and bimanual real-robot manipulation, it achieves higher average success than $\pi_{0.5}$ without any robot-data pretraining. Code is available at https://github.com/linhanwang/GlanceWAM and real-robot videos at https://linhanwang.github.io/glancewam/.

arXiv:2610.13816v1cs.RO

Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.

arXiv:2610.13781v1cs.CV

SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.

arXiv:2610.13522v1cs.RO

성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링

Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics

행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.

arXiv:2610.11060v1cs.CV

AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링

AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding

월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.

arXiv:2610.10932v1cs.LG

목표 조건부 강화학습을 위한 월드 모델 정책 중재자

World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning

오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.

arXiv:2610.02626v2cs.CV

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2609.34221v2cs.CV

WorldWeave: 비디오 생성을 위한 지속적 기하학적 세계 확장

WorldWeave: Growing Persistent Geometric Worlds for Video Generation

급격한 발전에도 불구하고, 월드 모델은 여전히 명시적이고 지속적인 구조적 메모리가 부족하여 지속적인 장면 확장과 시점 간 재방문 과정에서 일관된 세계 구조를 유지하는 데 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 세계 상태 유지와 시각적 렌더링을 분리하는 세계 생성 프레임워크인 WorldWeave를 제안합니다. 구체적으로 WorldWeave는 지속적인 고도 지도(elevation map) 생성과 에이전트(agent) 기반 장면 구성 및 이어 붙이기를 결합하여, 기존 구조를 보존하면서 구조적 메모리를 점진적으로 확장하는 확장 가능한 명시적 3D 세계를 구축합니다. 먼저 지형 모듈은 이웃 조건화 및 경계 제약 조건 하에서 디퓨전 기반 이미지 아웃페인팅을 사용하여 연속적인 미터법 고도 지도를 생성합니다. 다음으로 에이전트는 계층적 의미론적 계획, 결정론적 기하 구조 컴파일 및 로컬 수정을 통해 사용자 의도, 지형 근거 및 지역 간 연결성 제약 조건을 통합하여 장면을 구성합니다. 마지막으로 시각적 생성 과정에서 계획된 카메라 궤적은 읽기 전용 인터페이스를 통해 세계 기하 구조를 쿼리하고, 생성된 결과를 세계 상태에 다시 쓰지 않으면서 비디오 합성을 유도하는 깊이 시퀀스를 생성합니다. 결과적으로 구조적 메모리는 짧은 윈도우의 비디오 생성과 독립적으로 유지되어 사전에 정의된 지도 경계 없이 지속적인 확장을 가능하게 하며, 여러 궤적 및 반복 방문 전반에 걸쳐 관측에 일관된 기하학적 기반을 제공합니다.

arXiv:2607.00148v2cs.RO

3D 포인트 월드 모델: 포인트 완성을 통한 더 정확한 다이나믹스 학습

3D Point World Models: Point Completion Enables More Accurate Dynamics Learning

부분 포인트 클라우드의 폐색(occlusion)과 누적 예측 오차 문제를 해결하기 위해, 3DPWM은 SAM3 기반 객체 분할과 포인트 클라우드 완성(completion)을 월드 모델 파이프라인에 통합하여 완전한 3D 기하 구조에서 행동 조건부 다이나믹스를 학습한다. 다양한 로봇 구현체와 테이블탑 조작 벤치마크 실험에서 100~300+ 스텝의 장기 롤아웃을 안정적으로 수행하며 베이스라인 대비 sim-to-real 전이 성능을 2.5배 향상시켰다.

arXiv:2605.19957v2cs.CV

장기 내비게이션-조작 태스크의 체화된 비디오 생성을 위한 월드-에고 모델링

World-Ego Modeling for Embodied Video Generation in Long-Horizon Navigation-Manipulation Tasks

체화된(embodied) 비디오 월드 모델은 일반적으로 장면의 변화와 로봇의 행동을 모두 포착하며, 본 논문에서는 이를 각각 '월드(world)'와 '에고(ego)'로 지칭합니다. 월드와 에고는 서로 다른 기저 역학(dynamics)을 나타냅니다. 월드 예측은 주로 시각적 이력에 의존하며 장면의 안정성을 강조하는 반면, 에고 예측은 현재 지시어에 더 강하게 의존하며 정확한 지시 이행을 강조합니다. 단일 생성 스트림 내에서 두 요소를 모두 모델링하면 이러한 서로 다른 의존성이 얽혀 어느 한 구성 요소의 예측을 특화하기 어려워질 수 있습니다. 결과적으로, 특히 긴 주기(long-horizon)의 내비게이션-조작 태스크에서 장면의 일관성과 정확한 지시 이행을 동시에 유지하기가 어려워집니다. 본 논문에서는 체화된 비디오를 월드와 에고로 분해하고 이들의 생성 과정을 분리(disentangle)할 것을 제안합니다. 구체적으로, 월드는 배경 및 현재 조작되지 않는 객체로 정의하고, 에고는 로봇 및 현재 조작 중인 객체로 정의합니다. 이러한 정의를 기반으로, 역할 조건부 어텐션(role-conditioned attention, RCA) 및 비대칭 쿼리 예산을 사용하는 비전-언어 상태 예측기와 시맨틱 라우팅 전문가 혼합(SR-MoE) 확산 생성기를 결합한 '월드-에고 모델(World-Ego Model, WEM)'을 개발합니다. 또한 엄밀한 평가를 위해, 복합 내비게이션-조작 태스크를 갖춘 장기 체화 비디오 생성을 위한 데이터셋이자 벤치마크인 HTEWorld를 구축하여 세분화된 지시어가 포함된 450만 개 이상의 프레임으로 구성된 12만 5천 개의 학습 비디오 클립과 2천 개 이상의 지시어를 포괄하는 300개의 다중 턴 평가 궤적을 제공합니다. 광범위한 실험을 통해 WEM이 기존 조작 중심 평가에서 경쟁력을 유지하면서 HTEWorld에서 최고 수준의 성능(SOTA)을 달성함을 보입니다.

arXiv:2512.14014v2cs.AI

MobileWorldBench: 모바일 에이전트를 위한 의미론적 월드 모델링을 향하여

MobileWorldBench: Towards Semantic World Modeling For Mobile Agents

월드 모델은 체화된 에이전트(embodied agent)의 작업 성능을 향상하는 데 큰 유용성을 보여주었습니다. 이전 연구는 주로 픽셀 공간 월드 모델에 초점을 맞추었으나, 이러한 접근 방식은 미래 상태의 복잡한 시각적 요소를 예측하기 어려운 경우가 많은 GUI 환경에서 실질적인 한계에 직면합니다. 본 연구에서는 원시 픽셀을 예측하는 대신 상태 전이를 자연어로 기술하는, GUI 에이전트를 위한 대안적인 월드 모델링 방식을 탐구합니다. 먼저, 비전-언어 모델(VLM)이 모바일 GUI 에이전트를 위한 월드 모델로 기능하는 능력을 평가하는 벤치마크인 MobileWorldBench를 소개합니다. 둘째로, VLM의 월드 모델링 역량을 크게 향상하는 140만 개 샘플로 구성된 대규모 데이터셋 MobileWorld를 공개합니다. 마지막으로, VLM 월드 모델을 모바일 에이전트의 계획 프레임워크에 통합하는 새로운 프레임워크를 제안하여, 의미론적(semantic) 월드 모델이 작업 성공률을 높임으로써 모바일 에이전트에 직접적인 이점을 줄 수 있음을 입증합니다. 코드와 데이터셋은 https://github.com/jacklishufan/MobileWorld 에서 확인할 수 있습니다.

arXiv:2508.12087v3cs.AI

MAPF-World: 다중 에이전트 경로 생성을 위한 행동 월드 모델

MAPF-World: Action World Model for Multi-Agent Path Finding

다중 에이전트 경로 생성(Multi-agent path finding, MAPF)은 로봇 지원 물류 및 소셜 내비게이션 분야에서 활용되며, 주어진 시작 위치에서 지정된 목표 지점까지 충돌 없는 경로를 다수의 에이전트를 위해 계획하는 문제를 다룹니다. 최근의 탈중앙화 학습 기반 솔버는 특히 파운데이션 모델과 대규모 데이터셋을 활용할 때 대규모 MAPF에서 유망한 성과를 보여주었습니다. 그러나 기존 방법의 대다수는 반응형 정책에 의존하여, 에이전트 밀도가 높은 환경에서는 종종 혼잡, 데드락, 그리고 일반화 성능 저하를 야기합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 즉각적인 국소적 관측을 넘어선 의사결정을 가능하게 하도록 단기 국소 미래 예측과 행동 생성을 통합한 MAPF용 자기회귀 행동 월드 모델인 MAPF-World를 제안합니다. MAPF-World는 다음 국소 관측과 주변 에이전트들의 행동 의도를 예측하여 단기 국소 역학을 모델링하며, 이를 통해 공간 구조와 시간적 상호작용 패턴을 모두 포착합니다. 나아가 트랜스포머(Transformer) 기반 아키텍처에서 공간 인지력과 에이전트 수준의 의미 정보를 통합하는 시공간-에이전트 위치 인코딩을 도입하여 에이전트 간의 더욱 조화로운 협력 행동을 촉진합니다. 이에 더해, 합성 시뮬레이션과 실제 배포 시나리오 간의 격차를 좁히는 것을 목표로 실제 도시 레이아웃에 기반한 자동 맵 생성기를 도입하여 기존 MAPF 벤치마크를 확장합니다. 다양한 맵 유형과 상호작용 환경에서의 광범위한 실험을 통해 MAPF-World가 기존 학습 기반 솔버 대비 강력한 성능을 달성함을 입증합니다. 특히 견고한 제로샷(zero-shot) 일반화 성능을 보이며 에이전트 밀도가 높아져도 높은 성공률을 유지합니다.

arXiv:2506.03173v3cs.CV

성장하는 표면을 위한 기하학 중심의 3D 잠재 월드 모델

Geometry-Centered 3D Latent World Models for Growing Surfaces

많은 물리적 시스템은 단순히 움직이거나 변형되는 것에 그치지 않고 성장하며, 물질을 추가하고 월드 모델(world model)이 표현해야 하는 기하학적 구조(geometry)를 변화시킵니다. 기존 월드 모델은 주로 픽셀 예측, 보상(reward) 예측 또는 고정된 지지체를 갖는 물리적 역학에 최적화되어 있어, 근본적인 물리적 지지체가 시간에 따라 확장되고 미래 형태가 은닉된 물질 반응에 의존하는 시스템을 모델링하는 방법은 여전히 미해결 과제로 남아 있습니다. 본 논문에서는 성장하는 표면을 위한 기하학 중심의 잠재 월드 모델인 FOLIAGE를 소개합니다. FOLIAGE는 고정된 상태 예산 내에서 성숙한 영역을 컴팩트한 스캐폴드로 표현하는 동시에, 가까운 미래의 성장을 유도할 것으로 예측되는 영역에 더 높은 해상도의 상태를 할당합니다. 이를 통해 컴팩트한 전역 컨텍스트를 유지하면서도 새로운 물질과 기하학적 변화가 발생하는 곳에 표현 및 연산을 집중시킵니다. 나아가 FOLIAGE는 관측, 행동 및 특권 물리 정보를 분리합니다. 즉, 이종의 RGB, 포인트 클라우드, 메시 관측값을 배포 가능한 기하학적 상태로 융합하고, 물질 제어를 통해 잠재 역학을 조건화하며, 은닉된 물리적 에너지는 학습(training)을 안내하지만 배포 시에는 요구되지 않습니다. 이러한 설정을 평가하기 위해, 제어된 반사실적 분기, 조밀한 교차 모달 대응점, 은닉된 물리적 신호 및 성장 기하학 상태 학습을 위한 스트레스 테스트를 제공하는 SURF-GARDEN과 SURF-BENCH를 도입합니다. FOLIAGE는 강력한 베이스라인 대비 역물질 오차를 약 40%, 5단계 메시 예측 챔퍼 오차(Chamfer error)를 약 30% 줄이는 동시에 교차 모달 검색 성능을 +14 mAP 포인트 향상시킵니다. 스트레스 테스트를 통해 센서 손실(loss) 및 대응점 훼손 상황에서도 성능이 완만하게 저하됨을 확인했습니다. 또한 시간차 3D 식물 스캔 데이터에서 FOLIAGE는 수동적 미래 기하학 예측 성능을 향상시키며, 전이 실험을 통해 학습된 기하학 중심 상태가 시뮬레이터를 넘어서도 여전히 유용함을 입증합니다.

arXiv:2412.03758v4cs.CV

자기회귀 모델에는 구조적 레지스터가 필요하다: 의미론적 예측을 통한 일관된 주행 비디오 연속 생성 향상

Auto-Regressive Models Need Structural Registers: Semantic Foresight Improves Coherent Driving Video Continuation

전방 주행 비디오 연속 생성(video continuation)은 정교한 월드 모델을 구축하기 위한 핵심 구성 요소입니다. 그러나 장기적인 일관성을 유지하는 과정에서 자기회귀(auto-regressive) 프로세스 중 '생성적 퇴화(generative degeneration)'를 완화해야 하는 근본적인 난제에 직면하게 됩니다. 이 현상은 시퀀스가 길어짐에 따라 월드 모델의 제한된 어텐션(attention) 용량이 엔트로피가 높은 픽셀 세부 정보로 포화되어, 전반적인 장면 구조와 움직임 강도가 붕괴하면서 발생합니다. 이를 해결하기 위해 본 논문에서는 강제된 의미론적 예측(semantic foresight) 메커니즘을 갖춘 대규모 비전 모델 아키텍처인 STRIDE(STructural RegIsters for Decoupled Extrapolation)를 제안합니다. STRIDE는 시맨틱 토큰과 RGB 토큰의 교차 생성을 통해 비디오 연속 생성을 두 가지 하위 작업, 즉 낮은 엔트로피의 시맨틱 맵 예측과 해당 구조를 조건으로 하는 고주파 시각적 외형 생성으로 분리합니다. 시맨틱 토큰은 장면의 장기적 맥락과 월드 다이내믹스를 견고하게 유지하는 전용 메모리 슬롯인 '구조적 레지스터(structural registers)' 역할을 명시적으로 수행합니다. 나아가 아키텍처적으로 분리된 플로우 매칭(flow matching) 기반 초해상화 모듈을 사용하여 최종 시각적 충실도를 향상시킵니다. 자율주행 시나리오에 대한 광범위한 실험을 통해 STRIDE가 생성적 퇴화를 효과적으로 완화하며, 강력한 일반화 성능을 바탕으로 분(minute) 단위의 시간적으로 일관된 주행 비디오 연속 생성을 달성함을 입증합니다.

arXiv:2610.02515v1physics.plasm-ph

IGNITE 토카막 월드 모델 아키텍처

IGNITE Tokamak World Model Architecture

본 논문에서는 DIII-D 국립 핵융합 연구소(DIII-D National Fusion Facility)의 10년 이상 축적된 레이블 없는 실험 데이터로부터 자기지도학습(self-supervised learning) 방식으로 학습된 핵융합 플라즈마 거동 시뮬레이션을 위한 생성형 월드 파운데이션 모델인 IGNITE를 소개합니다. IGNITE의 핵심은 주어진 구동기 궤적(actuator trajectories)으로부터 DIII-D 방전을 시뮬레이션할 수 있는 동역학 모델(dynamics model)입니다. 이러한 궤적은 직접 제공되거나 텍스트 프롬프트(prompt) 또는 원하는 실험 결과로부터 실시간으로 생성될 수 있습니다. 모델 아키텍처는 시계열과 같은 시공간 측정 데이터, 이미지 시퀀스, 고해상도 스펙트로그램 등 서로 크게 다른 시간 척도에서 수집된 다양한 입력 양식(modalities)을 임베딩(embedding)하는 여러 시공간 토크나이저로 구성됩니다. 백본(backbone)은 초기 잠재 플라즈마 상태와 구동기 궤적이 주어졌을 때 이론적으로 무한한 지평(horizon)에 걸쳐 DIII-D 방전 전체를 예측할 수 있는 자기회귀(auto-regressive) 동역학 모델로 이루어져 있습니다. IGNITE는 핵융합을 위한 효율적인 AI 기반 실험 계획 및 월드 모델링으로 나아가는 길을 열어줍니다.