PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06673v1cs.LG

희소 보상 강화학습을 위한 불확실성 인식 LLM 기반 정책 형성

Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning

희소 보상(Sparse Reward)과 이종 작업 순서는 강화학습(RL)에서 지속적인 과제로 남아 있으며, 종종 느린 수렴, 약한 일반화, 비효율적인 탐험을 초래합니다. 우리는 구조화되고 불확실성으로 조절된 행동 지침을 제공하기 위해 보정된 대규모 언어 모델(LLM)을 RL 학습 루프에 통합하는 새로운 프레임워크인 불확실성 인식 LLM 기반 정책 형성(ULPS)을 제안합니다. ULPS는 최적의 기호적 궤적을 합성하기 위해 A* 기반 오라클을 사용하며, 이는 BERT 기반 언어 모델을 미세조정하는 데 사용됩니다. 학습 중 이 모델은 몬테카를로 드롭아웃(MC Dropout)을 통해 추정된 인식론적 불확실성에 따라 영향력이 조절되는 행동 제안을 제공합니다. 엔트로피 기반 혼합 메커니즘은 LLM 지침과 학습된 정책(근사 정책 최적화, PPO를 통해)을 적응적으로 균형 잡아, 에이전트가 적응성을 유지하면서 신뢰할 수 있는 사전 지식(priors)을 우선시할 수 있게 합니다. 우리는 MiniGridUnlockPickup 벤치마크에서 ULPS를 평가했으며, 안내되지 않은(unguided), 보정되지 않은(uncalibrated), 표준 RL 기준선(baselines)에 비해 성공률, 보상 효율성, 샘플 복잡도에서 일관된 개선을 관찰했습니다. ULPS는 미세조정 후 실행 정확도에서 9% 이상의 향상을 달성하고, 더 적은 환경 상호작용을 요구하며, 더 높은 보상 AUC를 산출합니다. 우리의 결과는 기호적 A* 궤적, 사전학습된 언어 사전 지식(priors), 불확실성 인식 제어를 통합하는 것이 희소 보상 영역에서의 다중 작업 강화학습에 대한 원칙적이고 효과적인 접근 방식을 제공하며, 부분 관측 가능 및 멀티 에이전트 설정으로의 확장 가능성이 있음을 보여줍니다.