ALER: 강화학습을 위한 적응형 학습 가능 경험 재작성
ALER: Adaptive Learnable Experience Rewriting for Reinforcement Learning
한국어 초록
부분 관측 가능한 강화학습(RL)에서는 이후의 관측으로 인해 기저장된 정보가 쓸모없어지거나 다음 의사결정에 미치는 의미가 바뀔 수 있습니다. 기존 강화학습용 메모리 구조와 벤치마크는 주로 정보가 필요할 때까지 변경 없이 유지하는 능력인 보존(retention)을 평가합니다. 본 연구에서는 두 가지 추가적인 요구사항을 정형화합니다. 재작성(rewriting)은 의사결정에 중요한 콘텐츠를 이전 값과 독립적인 값으로 설정하며, 경험 융합(experience fusion)은 이후의 관측이 지정하는 규칙에 따라 이전 콘텐츠를 변환합니다. 이러한 업데이트로 구성된 태스크에 대해 솔루션이 필요로 하는 메모리 상태 수를 계산한 결과, 여러 베이스라인은 더 많은 상태를 필요로 하는 구성에서 가장 낮은 성공률을 보였습니다. 이에 따라 LSTM과 슬롯 메모리(slot memory)를 결합한 에이전트인 ALER(Adaptive Learnable Experience Rewriting)를 제안합니다. 한 슬롯에 가중치를 집중시키는 독립 주소 지정 방식의 검벨-소프트맥스(Gumbel-Softmax) 쓰기 연산이 해당 슬롯을 덮어쓰고, 학습된 게이트는 정책 및 가치 헤드에 앞서 검색된 콘텐츠를 순환 상태와 융합합니다. 또한 벡터 및 픽셀 관측 하에서 룬(rune) 관측이 숨겨진 단서의 업데이트를 반전, 취소, 초기화 또는 반복하는 세 가지 환경인 Rune-Mazes를 소개합니다. 7개의 베이스라인과 비교했을 때, ALER는 16개의 모든 Endless T-Maze 설정에서 최소 0.82, 5개의 모든 Rune T-Maze 구성에서 최소 0.99의 성공률을 달성했으며, Invert 룬이 있는 4분기 Rune Multi-Corridor에서 가장 높은 평균 성공률을 기록했습니다. 픽셀 기반 Rune MiniGrid Memory에서는 10개 설정 중 8개에서 PPO-LSTM보다 높은 평균 성공률을 달성했습니다. 프로젝트 페이지: https://quartz-admirer.github.io/ALER-Adaptive-Learnable-Experience-Rewriting/.
원문 초록
In partially observable reinforcement learning (RL), a later observation can make stored information obsolete or change what it implies for the next decision. Memory architectures and benchmarks for RL mostly test retention, the ability to keep information unchanged until it is needed. We formalize two further requirements. Rewriting sets the decision-relevant content to a value independent of the old one, and experience fusion transforms the old content by a rule that a later observation specifies. For tasks built from such updates, we count the memory states that a solution needs, and several baselines reach their lowest success rates on compositions that need more states. We introduce ALER (Adaptive Learnable Experience Rewriting), an agent that pairs an LSTM with a slot memory. An independently addressed Gumbel-Softmax write that concentrates its weight on one slot overwrites that slot, and a learned gate fuses the retrieved content with the recurrent state before the policy and value heads. We also introduce Rune-Mazes, three environments in which rune observations invert, cancel, reset, or repeat updates of a hidden cue under vector and pixel observations. Against seven baselines, ALER reaches a success rate of at least $0.82$ in all sixteen Endless T-Maze configurations and at least $0.99$ on all five Rune T-Maze compositions, and it has the highest mean success rate on four-branch Rune Multi-Corridor with an Invert rune. On pixel-based Rune MiniGrid Memory, it has a higher mean success rate than PPO-LSTM in eight of ten configurations. Project page: https://quartz-admirer.github.io/ALER-Adaptive-Learnable-Experience-Rewriting/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
28 pages, 12 figures, 18 tables