RIFAR: 지속적인 로봇 학습을 위한 신뢰성 및 망각 인지형 리플레이
RIFAR: Reliability and Forgetting-Aware Replay for Continual Robot Learning
진정한 체화된 에이전트(embodied agency)가 되려면 로봇이 지속적인 현실 세계 경험을 영구적이고 전이 가능한 기술로 전환할 수 있어야 합니다. 이는 작업과 환경이 진화함에 따라 이전 지식을 훼손하지 않으면서 새로운 능력을 통합하는 지속 학습(continual learning)을 요구합니다. 경험 리플레이(experience replay)는 망각을 완화하지만, 작업이 누적됨에 따라 전체 시연(demonstration)을 저장하는 데 드는 비용이 커집니다. 월드-액션 모델(world-action model)은 행동과 미래 관측의 결합 예측을 통해 과거 경험을 재구성하는 생성적 대안을 제공합니다. 그러나 시각적으로 일관된 롤아웃(rollout)이라도 예측된 전이를 실현할 수 없는 행동이 포함될 수 있으며, 새로운 작업에 적응하는 과정에서 이전에 학습한 동작이 방해받을 수 있습니다. 이에 따라 RIFAR는 신뢰성 스크리닝과 드리프트 인지형(drift-aware) 리플레이 선택을 결합합니다. RIFAR는 압축된 시연 접두사(prefix)로부터 궤적을 재구성하고 고정된(frozen) 역역학 모델(inverse-dynamics model)을 사용하여 행동-시각적 일관성을 평가합니다. 학습은 먼저 현재 시연과 스크리닝을 통과한 최고 품질의 궤적을 결합합니다. 그런 다음 RIFAR는 동일한 과거 입력에 대해 이러한 적응 전후의 행동 예측을 비교하여, 동일한 스크리닝 풀에서 정규화된 드리프트가 더 큰 궤적을 다시 선택해 지속적인 학습을 수행합니다. 세 가지 LIBERO 제품군 및 실제 환경 실험 전반에서 RIFAR는 WAM 기반 생성형 리플레이 분야의 기존 최고 성능(SOTA)을 능가합니다. LIBERO-Goal에서 RIFAR는 작업당 320개의 과거 타임스텝(50개 시연 리플레이를 사용할 때 유지되는 스텝의 약 4.9%에 불과함)만을 유지하면서도 90.97 AUC를 달성합니다.