과거 행동 궤적으로부터 스킬 학습하기: 월드 액션 모델을 위한 행동 경험 딕셔너리
Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models
월드 액션 모델(WAMs)은 시각적 역학 예측과 행동 생성을 결합하지만, 여러 조작 작업 전반에 걸친 행동 경험의 재사용을 명시적으로 지원하지는 않습니다. 나아가 기존 WAM은 불필요한 배경 요소가 핵심 시각 정보 추출을 방해하기 때문에, 목표 행동 예측을 유도할 수 있는 작업 간 기저 시맨틱 관계를 포착하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 과거의 물리적 행동 궤적을 공유된 행동 임베딩으로 인코딩하여 스킬 재사용을 지원하고 작업 간 관계를 모델링하는 새로운 행동 경험 딕셔너리(AED)를 개발합니다. 구체적으로, 먼저 시각적 관찰과 정렬되도록 과거 행동을 집계하고 사전학습된 행동 토크나이저를 사용해 AED에서 행동 임베딩을 검색합니다. 이후 크로스 어텐션(cross-attention)을 통해 풀링된 임베딩에 시각적 조건을 부여하고 이를 노이즈가 있는 행동 토큰 앞에 덧붙여 예측을 위한 상호작용 컨텍스트와 행동 의도를 제공합니다. 또한 행동과 관련된 움직임을 모델링하고 무관한 배경 단서에 대한 의존도를 낮추기 위해, 무작위 시간 간격에 따른 시각적 특징 변화 예측을 지도하는 동작 인식 전이 손실(motion-aware transition loss)을 도입합니다. 시뮬레이션 벤치마크와 실제 환경의 크로스 임바디먼트(cross-embodiment) 설정에서 수행한 실험을 통해 제안하는 AED의 유효성을 검증합니다. 프로젝트 코드는 https://github.com/JiahuaDong/AED 에서 확인할 수 있습니다.