listenai.comyuyu

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.00982v1cs.RO

분할 및 기억(Divide-and-Remember): 장기 VLA 정책을 위한 재귀적 행동 관련 메모리

Divide-and-Remember: Recursive Action-Relevant Memory for Long-Horizon VLA Policies

비전-언어-행동(VLA) 모델은 현재 관측만으로는 행동을 결정할 수 없고 정책에 과거 이력에 대한 메모리가 필요한, 이력 의존적 조작 작업에서 어려움을 겪습니다. 기존 메모리 기법들은 픽셀 변화가 큰 프레임을 유지하는 등 설계 방식에 따라 무엇을 기억할지 결정하며, 작업 전반에 걸쳐 비일관적인 성능 향상을 보입니다. 본 연구에서는 무엇을 기억할지를 최적화(optimization) 문제로 바라봅니다. 모방 학습의 부분 관측 마르코프 결정 과정(POMDP) 정식화로부터, 최적의 메모리는 현재 관측이 주어졌을 때 행동과 메모리 간의 조건부 상호정보량 $I(a_t; m_t \mid o_t)$을 극대화함을 보여줍니다. 직관적으로 이는 현재 관측에 아직 포함되지 않은 이력 내 행동 관련 정보를 보존함을 의미합니다. 이러한 분석을 바탕으로, 메모리 함수 $m_t = M(h_t)$를 학습하고 연산 부담을 적게 유지하면서 긴 문맥으로 확장 가능한 재귀적 메모리 기법인 Divide-and-Remember(D&R)을 제안합니다. 이는 두 가지 전략을 포함합니다: (1) 전체 이력에 대한 선택을 $2K$ 토큰에 대한 상위 $K$개 선택이라는 하위 문제로 재귀적으로 분할하여, 엔드투엔드로 학습된 고정 크기의 경량 선택기가 무제한의 이력을 지원하도록 합니다; (2) 모든 재귀 블록이 하나의 선택기를 공유하여 모든 블록에 공통적인 선택 규칙을 포착하고 방법론의 효율성을 유지합니다. 언제, 어디서, 무엇을, 어떻게 행동해야 하는지 기억해야 하는 16개의 장기 조작 작업 벤치마크인 RoboMME에서, D&R은 단 64개 토큰 예산 하에 4개 제품군 전체에서 일관된 성능 향상을 보이며 최고 수준의 평균 성공률을 달성했습니다. 실제 로봇 실험에서도 동일한 성능 향상을 확인했습니다. 코드, 체크포인트 및 추가 결과는 https://dnr-memory.github.io/ 에서 확인할 수 있습니다.