PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22832v1cs.LG

MEMENTO: 메모리 유도 멤틱 Code-as-Policy 진화

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

장기 호라이즌(long-horizon) 체화(embodied) 태스크는 태스크 성공을 관찰하기 전에 많은 종속적 액션을 실행하는 정책(policy)이 필요하다. 정책을 실행 가능한 제어 프로그램(code-as-policy)으로 표현하면, 롤아웃 평가 후 의사결정 로직을 검사하고 수정할 수 있다. 수정된 프로그램은 롤아웃 성능으로 실행·비교될 수 있으며, 이는 정책 개선을 실행 유도 프로그램 탐색으로 규정한다. 대규모 언어 모델(LLM)이 구동하는 진화적(evolutionary) 방법은 변이를 생성하고 고성능 후보를 선택함으로써 이러한 탐색을 위한 자연스러운 메커니즘을 제공한다. 그러나 기존 접근법은 주로 독립적으로 생성된 변이들 중에서 선택하며, 순차적 국소 개선 단계가 부족하다. 우리는 code-as-policy 진화를 위한 메모리 유도 단일 엘리트(single-elite) 멤틱(memetic) 프레임워크인 MEMENTO를 제안한다. MEMENTO는 먼저 정책 롤아웃을 스칼라 적합도(fitness)와 구조화된 피드백 지표로 매핑하는 롤아웃 평가자(evaluator)를 진화시킨다. 적합도는 수락된 후보와 다음 엘리트를 선택하고, 피드백 지표는 메모리 유도 힐클라이밍(hill-climbing), 거시 돌연변이(macro-mutation), 교차(crossover)로 생성된 정책 제안을 조건화한다. 우리는 Robosuite Franka Tower-of-Hanoi 조작과 AI2-THOR 가정 내 상호작용이라는 두 장기 호라이즌 체화 도메인에서 MEMENTO를 평가한다. MEMENTO는 code-as-policy 진화 베이스라인으로 적용한 Eureka 및 REvolve를 태스크 성공과 보류(hold-out) Robosuite 객체 구성 및 미관측 AI2-THOR 장면에 대한 일반화(generalization) 면에서 능가한다. 소거 실험(ablation)은 제로샷(zero-shot) 생성과 미진화 평가자가 두 도메인 모두에서 해결에 실패하며, 정책 탐색 분기를 제거하면 성능이 저하됨을 보여준다. 마지막으로, 우리는 최고로 진화된 Robosuite 정책을 물리적 Franka 로봇에 배포하여, 진화된 code-as-policy의 sim-to-real 전이 가능성을 입증한다. 코드, 프롬프트(prompt), 동영상은 https://github.com/sygkounas/MEMENTO 에서 확인할 수 있다.

arXiv:2607.00272v1cs.RO

ASPIRE: Agentic /Skills Discovery for Robotics

ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)는 로봇 제어 프로그램을 자율적으로 작성·개선하면서 검증된 수정 사항을 재사용 가능한 스킬 라이브러리로 축적하는 지속적 학습 시스템이다. 닫힌 루프 실행 엔진, 진화적 탐색, 그리고 성장하는 스킬 라이브러리를 결합하여 LIBERO-Pro에서 최대 77%, Robosuite 양팔 핸드오버에서 72% 향상을 달성하였으며, 제로샷 미지 태스크 일반화와 sim-to-real 전이 가능성도 입증하였다.

arXiv:2606.19419v1cs.RO

유희적 에이전트 로봇 학습

Playful Agentic Robot Learning

현재의 에이전트 로봇 시스템은 실행 가능한 Code-as-Policy 프로그램을 작성하고, 피드백을 관찰하며, 여러 시도에 걸쳐 행동을 수정할 수 있지만 여전히 대부분 과업 중심입니다: 재사용 가능한 스킬은 명시적인 지시 후에만 획득됩니다. 본 연구는 유희적 에이전트 로봇 학습(Playful Agentic Robot Learning)을 다룹니다. 여기서 구체화된 코딩 에이전트는 다운스트림 과업이 도착하기 전에 자기 주도적 놀이를 지속적인 스킬 학습 단계로 활용합니다. 놀이 시간 스킬 획득을 위해 설계된 로봇 에이전트 팀인 RATs를 소개합니다. 놀이 동안 RATs는 새롭지만 학습 가능한 탐색적 과업을 제안하고, 로봇 코드 정책을 계획 및 실행하며, 중간 진행 상황을 검증하고, 실패를 진단합니다. 또한 밀집된 단계별 피드백을 통해 재시도하고, 성공한 실행을 지속 가능한 코드 스킬 라이브러리로 증류합니다. 테스트 시간에 에이전트는 새로운 과업 해결을 돕기 위해 이 동결된 라이브러리에서 관련 스킬을 재사용합니다. LIBERO-PRO와 MolmoSpaces에서의 실험 결과, 놀이를 통해 학습된 스킬은 놀이 없음(no-play) 및 무작위 놀이(random-play) 기준선보다 홀드아웃 다운스트림 과업의 성능을 향상시키는 것으로 나타났습니다. LIBERO-PRO와 MolmoSpaces에서 각각 CaP-Agent0 대비 20.6 및 17.0 퍼센트포인트의 향상을 보였습니다. 더욱이, 학습된 스킬은 컨텍스트에 단순히 검색하여 다른 추론 시간 Code-as-Policy 에이전트에 연결할 수 있으며, 기본 모델의 파인튜닝 없이도 RoboSuite 및 실세계 전이 성능을 각각 8.9 및 8.8 포인트 향상시켰습니다.