suibe.edu.cn

이 이메일 도메인이 관측된 논문 1건

arXiv:2506.01442v2cs.AI

에이전틱 에피소드 제어

Agentic Episodic Control

강화학습(RL)은 근본적으로 낮은 데이터 효율성과 약한 일반화로 인해 제한을 받는다. 기존 에피소드 강화학습 방법은 외부 메모리 모듈을 통해 이를 완화하려 시도했지만, 두 가지 핵심 한계가 있다: 얕은 인코더로 인한 표현 병목, 그리고 에피소드 메모리에 무차별적으로 접근하는 검색 딜레마. 이러한 과제를 해결하기 위해, 우리는 에피소드 강화학습에 대규모 언어 모델(LLM)을 통합하는 새로운 아키텍처인 Agentic Episodic Control(AEC)을 제안한다. AEC는 LLM 기반 시맨틱 증강기(semantic augmenter)를 사용해 원시 관측으로부터 시맨틱 표현을 생성하고, 중요 상태 인식기(critical state recognizer)를 통해 가치 있는 경험을 선택적으로 검색한다. 이는 메모리 사용을 수동적 유사도 매칭에서 전략적이고 문맥 인식적인 회상으로 전환한다. 다섯 개의 BabyAI-Text 환경에서 AEC는 기준선(baseline) 대비 2-6배 높은 데이터 효율성을 달성하며, UnlockLocal과 같은 복잡한 과제를 90% 이상의 성공률로 해결한 유일한 방법이다. 또한 강한 교차 과제 및 교차 환경 일반화를 보여주며, 분포 이동(distribution shift) 하에서도 성능을 유지한다. AEC는 LLM 유래 사전지식(prior)과 강화학습을 결합하면 더 샘플 효율적이고 적응력 있는 에이전트(agent)를 만들 수 있음을 보여준다.