yinwang.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.27677v1cs.RO

DIM-WAM: 다양한 과거 이벤트 메모리를 활용한 World-Action 모델링

DIM-WAM: World-Action Modeling with Diverse Historical Event Memory

World-action 모델은 미래 시각 상태와 행동을 공동으로 예측함으로써 유망한 로봇 조작(manipulation) 성능을 보여왔다. 그러나 기존 방법은 주로 단기 기록과 단기 예측 지평(short-horizon future prediction)에 의존하며, 이는 초기 관측과 작업 진행률에 올바른 실행이 의존하는 장기(long-horizon) 작업에는 불충분하다. 이러한 시간적 의존 작업은 최근의 국소적 문맥, 단계 간 과거 이벤트, 즉각적인 미래 동역학, 전역 작업 진행률을 포함한 상호 보완적인 시간 정보의 효과적 활용을 요구한다. 장기 망각과 전역 작업 상태에 대한 낮은 인식을 해결하기 위해, 우리는 다중 스케일 과거 문맥, 국소적 미래 동역학, 전역 작업 진행률을 통합하는 메모리 증강(memory-augmented) world-action 모델인 DiM-WAM을 제안한다. 메모리는 실제 관측에서 압축된 시각 이벤트 정보를 추출하고, 독립적인 유사도 기반 병합을 통해 여러 메모리 뱅크를 갱신한 뒤, 뱅크 식별자 및 시간 임베딩된 장기 문맥을 읽어 영상 및 행동 디노이징(denoising)을 조건화한다. 진행률 감독(progress-supervision) 목적 함수는 메모리 토큰이 완료된 과거 이벤트뿐 아니라 현재 작업 단계와 남은 작업에 대한 함의까지 인코딩하도록 추가로 유도한다. RMBench에서 DiM-WAM은 LingBot-VA의 28.4%에서 평균 성공률을 69.8%로 끌어올려, 42.0%인 명시적 메모리 Mem-0 기준선을 능가한다. 네 가지 실제 Franka 작업에서 평균 단계 성공률을 70.7%에서 91.5%로, 전체 작업 성공률을 52.5%에서 80.0%로 향상시킨다. 프로젝트 페이지: https://wangkai-casia.github.io/dim-wam/