OnlineWM: 효과적인 월드 모델링을 위한 인과관계 인지 능동 온라인 학습
OnlineWM: Causality-Aware Active Online Learning for Effective World Modeling
한국어 초록
생성형 월드 모델(Generative world models)은 행동을 조건으로 하여 미래 상태를 예측하는 것을 목표로 하며, 여기서 행동 제어 가능성(action controllability)은 신뢰할 수 있는 역학 모델링을 위한 기본 요소입니다. 최근 시뮬레이터가 생성한 데이터를 활용하여 이러한 역량을 향상하려는 시도들이 이루어지고 있으나, 기존 학습(training) 파이프라인은 두 가지 근본적인 한계에 직면해 있습니다. 첫째, 정적인 오프라인 데이터 수집은 학습 세트와 모델(model)의 진화하는 오류 패턴 간의 분포 불일치를 유발하여 역학 예측이 여전히 신뢰할 수 없는 중요한 롱테일(long-tail) 시나리오를 해결하지 못합니다. 둘째, 관측 불일치를 최소화하는 표준 목적 함수는 종종 모델이 기저의 행동-효과 인과관계를 포착하는 대신 허위 상관관계(spurious correlations)를 악용하도록 유도합니다. 이러한 한계를 해결하기 위해, 능동적인 시뮬레이터 상호작용과 인과관계 인지 최적화를 통해 월드 모델링을 지속적으로 개선하는 온라인 학습 프레임워크인 OnlineWM을 제안합니다. OnlineWM은 두 가지 핵심 혁신을 도입합니다: (1) 능동 온라인 학습(Active Online Learning): 고정된 데이터셋을 사용하는 대신, OnlineWM은 모델의 현재 예측 취약점을 목표로 하는 새로운 상호작용 시퀀스를 시뮬레이터에 적응적으로 질의하여 효용성이 높은 데이터 수집을 보장합니다. (2) 인과관계 인지 미세조정(Causality-Aware Fine-Tuning): 동일한 상태에서 서로 다른 행동의 결과를 대조하는 반사실적 학습(counterfactual learning) 전략을 제안하여, 모델이 상태 전이를 주변 환경 변화가 아닌 특정 행동의 결과로 귀인하도록 강제함으로써 예측을 신뢰할 수 있는 인과 메커니즘에 그라운딩(grounding)합니다. 능동적 데이터 수집과 인과적 최적화를 통합함으로써, OnlineWM은 모델이 다양한 시나리오에 대해 강건하고 인과적 귀인에서 정밀함을 모두 보장하는 폐루프 개선 프로세스를 확립합니다. 광범위한 실험을 통해 OnlineWM이 행동 제어 가능성을 크게 향상시키고 보지 못한 도메인으로도 효과적으로 일반화됨을 입증합니다.
원문 초록
Generative world models aim to predict future states conditioned on actions, where action controllability is fundamental for reliable dynamics modeling. While recent efforts leverage simulator-generated data to enhance this capability, existing training pipelines face two fundamental limitations. First, static offline data collection leads to a distribution misalignment between training sets and the model's evolving error patterns, failing to resolve critical long-tail scenarios where dynamics predictions remain unreliable. Second, the standard objective of minimizing observational discrepancy often encourages the model to exploit spurious correlations instead of capturing the underlying action-effect causality. To address these limitations, we propose OnlineWM, an online training framework that continuously improves world modeling through active simulator interaction and causality-aware optimization. OnlineWM introduces two key innovations: (1) Active Online Learning: Instead of using fixed datasets, OnlineWM adaptively queries the simulator for new interaction sequences that target the model's current predictive weaknesses, ensuring high-utility data acquisition. (2) Causality-Aware Fine-Tuning: We propose a counterfactual learning strategy that contrasts the outcomes of different actions from identical states, forcing the model to attribute state transitions to specific actions rather than ambient environmental evolution, thereby grounding its predictions in reliable causal mechanisms. By integrating active data acquisition with causal optimization, OnlineWM establishes a closed-loop refinement process that ensures the model is both robust to diverse scenarios and precise in its causal attribution. Extensive experiments demonstrate that OnlineWM significantly enhances action controllability and generalizes effectively to unseen domains.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23753v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
그래프 신경망을 활용한 상각 반사실적 예측
Amortized Counterfactual Prediction with Graph Neural Networks
반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?
Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.