arXiv:2512.20974v5 cs.LG

베이지안 선형 태스크 모델을 이용한 메타-RL

Meta-RL with Bayesian Linear Task Models

Jingyang You, Hanna Kurniawati

제출 2025-12-24

한국어 초록

심층 베이지안 강화학습은 잠재 전이 및 보상 모델을 추론함으로써 보지 못한 태스크에 적응하지만, 기존 방법은 대개 변분 사후분포와 증거 하한(evidence lower bound)에 의존하여 근사 오차와 불안정한 태스크 표현을 유발한다. 본 논문은 일반화 선형 태스크 모델과 학습 가능한 비선형 기저 함수를 결합한 심층 베이지안 RL 프레임워크 GLiBRL을 제안한다. GLiBRL은 켤레 베이지안 추론을 통해 태스크 매개변수와 모델 노이즈에 대한 정확한 순차적 사후 업데이트를 수행하며, 변분 추론을 배제하는 폐형 주변 가능도를 함께 제공한다. 이 업데이트는 본질적으로 순열 불변(permutation-invariant)이므로 GLiBRL은 오프-정책과 온-정책 알고리즘 모두와 통합할 수 있다. GLiBRL은 또한 정확한 커널 동일성(identity)을 만족하는 태스크 표현을 학습하며, 태스크 표현 간 거리를 태스크 맥락에 대한 커널 불일치와 연관 짓는다. 8개의 대표적이거나 최근 메타 강화학습 방법과 비교했을 때 GLiBRL은 MuJoCo locomotion 및 MetaWorld manipulation 벤치마크 모두에서 제로샷(zero-shot) 테스트 성능의 최고 집계 결과를 달성한다.

원문 초록

Deep Bayesian reinforcement learning adapts to unseen tasks by inferring latent transition and reward models, but existing methods typically rely on variational posteriors and evidence lower bounds, introducing approximation error and unstable task representations. We introduce GLiBRL, a deep Bayesian RL framework that combines generalised linear task models with learnable non-linear basis functions. GLiBRL features conjugate Bayesian inference, yielding exact, sequential posterior updates over task parameters and model noise, together with a closed-form marginal likelihood that eliminates variational inference. The update is naturally permutation-invariant, allowing GLiBRL to integrate with both off- and on-policy algorithms. GLiBRL also learns task representation admitting an exact kernel identity, relating distances between task representations to kernel discrepancies over the task contexts. Compared against eight representative or recent meta reinforcement learning methods, GLiBRL achieves the highest aggregate zero-shot test performance on both the MuJoCo locomotion and MetaWorld manipulation benchmarks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.20974v5제출 시각 미확인
  2. arXiv:2512.20974v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.