MEMENTO: 메모리 유도 멤틱 Code-as-Policy 진화
MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution
장기 호라이즌(long-horizon) 체화(embodied) 태스크는 태스크 성공을 관찰하기 전에 많은 종속적 액션을 실행하는 정책(policy)이 필요하다. 정책을 실행 가능한 제어 프로그램(code-as-policy)으로 표현하면, 롤아웃 평가 후 의사결정 로직을 검사하고 수정할 수 있다. 수정된 프로그램은 롤아웃 성능으로 실행·비교될 수 있으며, 이는 정책 개선을 실행 유도 프로그램 탐색으로 규정한다. 대규모 언어 모델(LLM)이 구동하는 진화적(evolutionary) 방법은 변이를 생성하고 고성능 후보를 선택함으로써 이러한 탐색을 위한 자연스러운 메커니즘을 제공한다. 그러나 기존 접근법은 주로 독립적으로 생성된 변이들 중에서 선택하며, 순차적 국소 개선 단계가 부족하다. 우리는 code-as-policy 진화를 위한 메모리 유도 단일 엘리트(single-elite) 멤틱(memetic) 프레임워크인 MEMENTO를 제안한다. MEMENTO는 먼저 정책 롤아웃을 스칼라 적합도(fitness)와 구조화된 피드백 지표로 매핑하는 롤아웃 평가자(evaluator)를 진화시킨다. 적합도는 수락된 후보와 다음 엘리트를 선택하고, 피드백 지표는 메모리 유도 힐클라이밍(hill-climbing), 거시 돌연변이(macro-mutation), 교차(crossover)로 생성된 정책 제안을 조건화한다. 우리는 Robosuite Franka Tower-of-Hanoi 조작과 AI2-THOR 가정 내 상호작용이라는 두 장기 호라이즌 체화 도메인에서 MEMENTO를 평가한다. MEMENTO는 code-as-policy 진화 베이스라인으로 적용한 Eureka 및 REvolve를 태스크 성공과 보류(hold-out) Robosuite 객체 구성 및 미관측 AI2-THOR 장면에 대한 일반화(generalization) 면에서 능가한다. 소거 실험(ablation)은 제로샷(zero-shot) 생성과 미진화 평가자가 두 도메인 모두에서 해결에 실패하며, 정책 탐색 분기를 제거하면 성능이 저하됨을 보여준다. 마지막으로, 우리는 최고로 진화된 Robosuite 정책을 물리적 Franka 로봇에 배포하여, 진화된 code-as-policy의 sim-to-real 전이 가능성을 입증한다. 코드, 프롬프트(prompt), 동영상은 https://github.com/sygkounas/MEMENTO 에서 확인할 수 있다.