Diversity-Driven Exploration Strategy for Deep Reinforcement Learning
원문 초록
Efficient exploration remains a challenging research problem in reinforcement learning, especially when an environment contains large state spaces, deceptive local optima, or sparse rewards. To tackle this problem, we present a diversity-driven approach for exploration, which can be easily combined with both off- and on-policy reinforcement learning algorithms. We show that by simply adding a distance measure to the loss function, the proposed methodology significantly enhances an agent's exploratory behaviors, and thus preventing the policy from being trapped in local optima. We further propose an adaptive scaling method for stabilizing the learning process. Our experimental results in Atari 2600 show that our method outperforms baseline approaches in several tasks in terms of mean scores and exploration efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
반복 샘플링을 넘어서: LLM 추론을 위한 탐색 정책 학습
Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning
대규모 언어 모델(LLM)은 테스트 시간 연산(test-time compute)을 더 많이 투입하여 고난도 추론 문제를 점진적으로 해결하고 있지만, 여전히 지배적인 전략은 단순 반복 샘플링(naive repeated sampling)에 머물러 있습니다. 즉, 다수의 독립적인 해결책을 생성하고 그중 하나가 정답이기를 기대하는 방식입니다. 이러한 샘플링은 국소적 디코딩 노이즈(local decoding noise)만을 통해 탐험(exploration)을 수행하므로, 진정으로 차별화된 아이디어보다는 거의 중복에 가까운 시도를 다수 생성하는 경향이 있습니다. 본 연구에서는 문제별 개념, 힌트 또는 전략을 먼저 샘플링한 다음 이에 기반하여 답변 생성을 조건화함으로써 시맨틱 수준에서 탐험을 유도할 수 있는지 질문을 던집니다. 이를 단일 궤적(single trajectory) 내에서 다양하고 많은 개념을 도출하는 단순하면서도 더욱 탐험적인 절차로 구체화하고, 반복 샘플링이 어려움을 겪는 고난도 문제에서 이를 평가합니다. 나아가 개념 생성을 학습 가능하도록 발전시킵니다. 즉, 강화학습(reinforcement learning)을 통해 소형 개념 생성 모델을 최적화하여, 이 모델이 생성한 개념이 동결된(frozen) 더 큰 답변 생성 모델의 다운스트림 성공을 극대화하도록 합니다. 고난도 수학 추론 문제에서, 학습된 개념 생성 모델은 동일한 답변 생성 연산량 할당 하에서 단순 반복 샘플링 대비 답변 생성 모델의 pass@k를 실질적으로 향상시키고, 튜닝되지 않은 훨씬 더 큰 모델에서 추출한 개념의 성능을 능가하며, 학습 과정에서 접하지 않은 다른 계열의 모델을 포함한 답변 생성 모델로도 전이됩니다. 따라서 소형 모델을 훨씬 더 큰 모델을 위한 효과적이고 재사용 가능한 탐색 정책(search policy)으로 학습시킬 수 있습니다.
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Task Independent Capsule-Based Agents for Deep Q-Learning
A State Representation Dueling Network for Deep Reinforcement Learning
Drafting in Collectible Card Games via Reinforcement Learning
Self-Driving Network and Service Coordination Using Deep Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.