arXiv:2110.03155

The Benefits of Being Categorical Distributional: Uncertainty-aware Regularized Exploration in Reinforcement Learning

Ke Sun, Yingnan Zhao, Enze Shi, Yafei Wang, Xiaodong Yan, Bei Jiang, Linglong Kong

제출 2021-10-07

원문 초록

The remarkable empirical performance of distributional reinforcement learning (RL) has garnered increasing attention to understanding its theoretical advantages over classical RL. By decomposing the categorical distributional loss commonly employed in distributional RL, we find that the potential superiority of distributional RL can be attributed to a derived distribution-matching entropy regularization. This less-studied entropy regularization aims to capture additional knowledge of return distribution beyond only its expectation, contributing to an augmented reward signal in policy optimization. In contrast to the vanilla entropy regularization in MaxEnt RL, which explicitly encourages exploration by promoting diverse actions, the novel entropy regularization derived from categorical distributional loss implicitly updates policies to align the learned policy with (estimated) environmental uncertainty. Finally, extensive experiments substantiate the significance of this uncertainty-aware regularization from distributional RL on the empirical benefits over classical RL. Our study offers a new perspective from the exploration to explain the intrinsic benefits of adopting distributional learning in RL.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12786v1cs.CV공통 태그 reinforcement-learning, Attribute

CoRe: 비전-언어 모델에서의 이미지 간 비교 추론을 위한 포괄적 프레임워크

CoRe: A Comprehensive Framework for Cross-Image Comparative Reasoning in Vision-Language Models

이미지 간 비교 추론은 비전-언어 모델(VLM)에서 여전히 어려운 과제이며, 특히 정확한 예측을 위해 세밀한 속성 그라운딩(grounding)과 전역적으로 일관된 추론이 필요할 때 더욱 그렇다. 우리는 이 문제를 위한 통합 프레임워크인 CoRe를 제안한다. CoRe는 다음을 포함한다: (i) CoRe-20K — 다중 전문가 협업 파이프라인을 통해 구조화된 시각 메타데이터로부터 자동 구축된 대규모 트리플릿 기반 학습(training) 데이터셋으로, 계수, 깊이, 거리, 공간 관계를 포괄한다; (ii) TriSR — GRPO 최적화(optimization) 하에서 속성 그라운딩, 판단 정렬(alignment), 트리플릿 일관성을 공동으로 감독하는 구조화된 보상(reward) 프레임워크; (iii) CoRe-Bench — 세밀한 이미지 간 비교 추론에 특화된 최초의 벤치마크(benchmark). 실험 결과 CoRe는 CoRe-Bench에서 기존 VLM을 크게 능가하면서 표준 멀티모달 벤치마크에서도 경쟁력을 유지하며, 가장 강한 기준선(baseline) 대비 부분 정확도에서 28.2점 향상을 달성했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.