KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
원문 초록
Recently, deep reinforcement learning (RL) algorithms have made great progress in multi-agent domain. However, due to characteristics of RL, training for complex tasks would be resource-intensive and time-consuming. To meet this challenge, mutual learning strategy between homogeneous agents is essential, which is under-explored in previous studies, because most existing methods do not consider to use the knowledge of agent models. In this paper, we present an adaptation method of the majority of multi-agent reinforcement learning (MARL) algorithms called KnowSR which takes advantage of the differences in learning between agents. We employ the idea of knowledge distillation (KD) to share knowledge among agents to shorten the training phase. To empirically demonstrate the robustness and effectiveness of KnowSR, we performed extensive experiments on state-of-the-art MARL algorithms in collaborative and competitive scenarios. The results demonstrate that KnowSR outperforms recently reported methodologies, emphasizing the importance of the proposed knowledge sharing for MARL.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RL은 RL 이전에 시작된다: 더 나은 강화학습을 위한 온-정책 증류
RL Starts before RL: On Policy Distillation for Better Reinforcement Learning
강화learning(RL)은 추론을 향상시키지만, 성능은 학습이 시작되는 정책에 달려 있다. 우리는 온-정책 증류(OPD)를 RL을 위한 준비 단계로 두고 연구하며, 그 이점이 증류된 모델의 초기 정확도 개선을 넘어서는지 묻는다. 동일한 RL 설정에서 OPD로 초기화한 학생 모델은 직접 RL로 학습한 모델, 또는 지도 미세조정 뒤 RL을 적용한 모델보다 더 높은 최종 성능에 도달한다. 이 이점은 OPD가 즉각적인 정확도 향상을 거의 주지 않을 때에도 나타날 수 있다. RL 이전 Pass@k만으로는 이 이점을 완전히 설명하지 못한다: 비슷하거나 더 높은 값이 RL 이후 더 나은 성능으로 이어지지는 않을 수 있다. 행동 분석은 top-1 일치를 넘어 교사 분포와의 정렬이 가능한 설명임을 가리킨다. 이러한 정렬은 더 높은 품질의 추론 경로를 선호하면서, RL이 결과 피드백으로 더 다듬을 수 있는 대안들을 남겨 둘 수 있다. 또한 궤적 출처와 발산 목표가 이후 RL을 위한 증류의 가치에 어떻게 영향을 미치는지 살핀다. 표준 역방향 KL OPD는 RL 이전에 더 낫지만, 순방향 KL OPD는 그 이후에 앞서게 된다. 교사가 생성한 증류 궤적을 쓰면 역방향 KL은 두 단계 모두에서 앞선다. 이는 선호되는 증류 목표가 궤적 출처와 뒤이어지는 학습 모두에 달려 있음을 시사한다. 우리 결과는 OPD를 RL 준비 단계로 평가하고, 이후 학습 뒤 달성한 성능을 기준으로 증류 방식을 고르는 접근을 뒷받침한다.
교사를 언제 어디서 신뢰할 것인가: 엔트로피 보정 크레딧 할당을 통한 온-정책 증류와 GRPO의 통합
When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment
검증 가능한 보상을 통한 강화학습(RLVR)은 최종 정답의 정합성을 통해 수학적 추론을 감독하지만 개별 토큰에 대한 안내는 거의 제공하지 못합니다. 온-정책(on-policy) 증류(OPD)는 학생이 생성한 응답에 대해 조밀한 피드백을 제공하지만, 교사의 선호도가 반드시 정합성을 반영하는 것은 아닙니다. 최근의 하이브리드 방식들은 OPD와 검증기 기반 이점(advantage)을 결합하거나 교사 비율을 활용해 작업 크레딧에 다시 가중치를 부여합니다. 그러나 교사의 안내는 검증기 기반 그룹 정규화 이후에 반영되며, 토큰 재가중치 부여가 각 응답에 할당된 전체 작업 크레딧을 반드시 보존하는 것은 아닙니다. 본 논문에서는 응답 및 토큰 수준 모두에서 단일 GRPO 스타일 업데이트 내에 검증기와 교사 신호를 통합하는 UECR-GRPO(Unified Entropy-Calibrated Credit Redistribution for GRPO)를 제안합니다. 경로-효용 통합(Path-Utility Unification, PUU)은 단일 KL 정규화 목적 함수에서 검증기 보상과 교사 대 앵커 경로 로그 비율을 결합합니다. 온-정책 구현에서는 길이 정규화된 교사 점수를 사용하며 그룹 정규화 및 PPO 클리핑 이전에 두 보상을 결합하여, 교사의 증거가 응답 순위 결정에 영향을 미칠 수 있도록 합니다. 그런 다음 엔트로피 보정 재분배(Entropy-Calibrated Redistribution, ECR)는 부호가 있는 교사-이전 정책 간 토큰 격차를 사용하여 검증기 기반 컴포넌트를 재분배합니다. 전체 어휘 교사 엔트로피는 불확실한 안내를 감쇠시키는 한편, 응답별 제로섬 투영은 클리핑 이전에 전체 작업 크레딧과 토큰별 부호를 보존합니다. 5개의 수학적 추론 벤치마크 전반에서 UECR-GRPO는 Qwen3-1.7B 및 Qwen3-4B 학생 모델을 통해 각각 17.21%와 65.09%의 평균 \(\mathrm{Avg@12}\) 정확도를 달성하여, 각 규모의 가장 강력한 기준선 모델보다 0.89%p 및 0.56%p 더 높은 성능을 보였습니다.
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Task Independent Capsule-Based Agents for Deep Q-Learning
A State Representation Dueling Network for Deep Reinforcement Learning
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
토론
이 논문과 연결된 포럼 글이 아직 없습니다.