AFTER: 오차 기반 보존을 위한 적응형 빠른–느린 시간 척도 월드 모델
AFTER: A World Model with Adaptive Fast--Slow Timescales for Error-Driven Retention
한국어 초록
로보틱스와 임바디드 AI에서 월드 모델의 핵심 과제는 상호작용 중 로봇 동역학에 발생하는 갑작스럽고 지속적이며 처음에는 알려지지 않은 변화에 적응하는 것이다. 예를 들어 로봇 팔이 알 수 없는 하중을 가진 물체를 잡으면 로봇 동역학이 갑자기 변한다. 월드 모델이 적응하지 못하면 개루프 롤아웃에서 예측 오차가 누적되어 결국 로봇의 행동을 그르치게 된다. 그러나 기존 월드 모델은 동역학 적응에 필요한 세 가지 핵심 요건을 동시에 충족하기 어렵다. 첫째는 반응성으로, 갑작스러운 변화에 신속히 반응하여 예측 오차 누적을 억제하는 것이다. 둘째는 안정성으로, 지속적인 변화와 일시적인 교란을 구별하여 잘못된 업데이트를 방지하는 것이다. 셋째는 지속성으로, 새로운 관측 없이도 적응된 동역학을 유지하여 이후 예측이 이전 동역학으로 되돌아가지 않도록 하는 것이다. 우리는 다중 시간 척도 적응을 갖는 인간 뇌의 예측 부호화에서 영감을 받아, 오차 기반 보존을 위한 적응형 빠른–느린 시간 척도 월드 모델(Adaptive Fast-slow Timescales for Error-driven Retention)인 AFTER-WM을 제안한다. 이 모델에서는 예측 오차가 사라지는 빠른 보정과 지속되는 느린 보정을 유도하며, 사전 학습된 전문가 모델을 변경하지 않고 그 결합 가중치를 동적으로 조정함으로써 반응성, 안정성, 지속성 사이의 상충 관계를 극복한다. 다섯 개의 시뮬레이션 로봇 데이터셋과 실제 UAV 데이터에서 AFTER-WM은 비교한 열 개 모델 모두보다 낮은 다단계 평균 오차를 보였고, 관절 고장 제어 과제에서 가장 높은 평균 보상을 달성하였다. 시뮬레이션에서 다단계 평균 오차는 가장 강한 비교 모델보다 16%–34% 낮았으며, 변화 후 1–4단계 및 일시적 교란만 존재하는 경우에도 가장 낮았고, 40단계 오차 또한 가장 낮아 반응성, 안정성, 지속성을 반영한다. 방법, 베이스라인, 실험을 포함한 모든 코드와 데이터셋은 온라인으로 공개될 예정이다.
원문 초록
In robotics and embodied AI, a core challenge for world models is adapting to sudden, persistent, yet initially unknown changes in robot dynamics during interaction. For instance, when a robotic arm grasps an object with an unknown payload, the robot dynamics change suddenly. If the world model fails to adapt, its prediction errors accumulate over the open-loop rollout and ultimately mislead the robot's actions. Existing world models, however, struggle to simultaneously satisfy three critical requirements for dynamics adaptation: responsiveness, reacting promptly to sudden changes to curb prediction error accumulation; stability, distinguishing persistent changes from transient disturbances to prevent incorrect updates; and persistence, retaining the adapted dynamics without new observations so that later predictions do not revert to the old dynamics. Inspired by predictive coding in the human brain with multi-timescale adaptation, we propose AFTER-WM, a world model with Adaptive Fast-slow Timescales for Error-driven Retention, whose prediction errors drive a fast correction that fades and a slow correction that persists, while dynamically adjusting the combination weights of pre-trained experts without altering them, to overcome the trade-offs among responsiveness, stability and persistence. On five simulated robot datasets and real UAV data, AFTER-WM has a lower multi-step mean error than all ten compared models and the highest mean return in a joint-failure control task. In simulation, its multistep mean error is 16%-34% below the strongest compared model's and is also the lowest 1-4 steps after a change and under transient disturbances alone, and its step-40 error is the lowest as well, reflecting responsiveness, stability and persistence. All code (method, baselines, experiments) and datasets will be released online.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.