WATERFALL: 진화적 보상 구성과 자동 학습 루프를 활용한 적응형 학습 워크플로
WATERFALL: Workflow for Adaptive Training with Evolutionary Reward Formulation and Automated Learning Loops
한국어 초록
보상 설계는 강화학습(RL)의 주요 병목이다. 특히 보상이 희소하고 긴 시간 범위를 다루며 일부만 관측할 수 있는 환경에서는 의존 관계를 이어가고 기억을 사용하며, 겉보기와 실제로 가능한 행동을 구별해야 한다. 최근 파운데이션 모델 기반 접근법은 수동 보상 설계를 줄이지만, 대부분 목표 조건, 과제 설명, 전문가 시연, 정답 평가지표가 주어진다고 가정한다. 부분 관측 환경에서는 과제의 목표, 가능한 행동, 동역학을 미리 알려 주지 않으며 상호작용으로 알아내야 하므로 문제가 된다. 부분 관측 마르코프 결정 과정(POMDP)의 엄격한 관측 조건에서 보상을 자동으로 발견하는 반복적 집단 기반 워크플로 WATERFALL을 도입해 이 문제를 정식화한다. WATERFALL은 (i) 페르소나에 따라 프로그램 형태의 다양한 보상 후보를 생성하고, (ii) 비전-언어 모델이 판정하는 스위스 방식 진화 토너먼트에서 원시 시각 롤아웃을 바탕으로 후보의 행동을 평가해 우수 후보를 찾고, (iii) 누적 평가 이력에 따라 후보를 반복적으로 변형하거나 다음 단계로 올리거나 제거한다. 이산 환경에서 연속 환경까지, 전체 상태를 관측하는 경우와 특정 조건에서만 정보가 드러나는 부분 관측 환경에서 평가했다. 희소 보상 강화학습, 내재적 동기 방식, 파운데이션 모델 기반 보상 생성 기준선과 비교했다. WATERFALL은 특권 정보에 접근하지 않고도 보상 프로그램을 발견하고 정제했다. 기존의 정보상 이점을 유지한 기준선을 앞섰으며, 특히 POMDP 조건에서 차이가 뚜렷했다. 광범위한 구성 요소 제거 실험에서 시각적 근거, 토너먼트 기반 선별, 반복 정제가 함께 중요함을 확인했다. 이 정보 접근 제한을 지켜야 벤치마크의 특권 정보를 이용하는 보상 조형과 자율 보상 발견을 구분할 수 있다.
원문 초록
Reward design remains a central bottleneck in reinforcement learning (RL), particularly in sparse-reward, long-horizon and partially observable settings requiring dependency chaining, memory, and deceptive affordance disambiguation. While recent foundation-model approaches reduce manual reward engineering, most assume goal-conditioning, task descriptions, expert demonstrations, or ground-truth metrics. These assumptions are problematic in partially observable environments, where task-relevant objectives, affordances, and dynamics must be discovered through interaction rather than disclosed a priori. We formalise this problem setting by introducing WATERFALL, an iterative population-based workflow for automated reward discovery under the strict observability constraints inherent in POMDP environments. WATERFALL achieves this by (i) synthesising diverse programmatic reward candidates via persona-conditioned generation, (ii) evaluating candidate behaviour from raw visual rollouts utilising a Swiss-system evolutionary tournament judged by vision-language models to identify elites, and (iii) leveraging longitudinal assessment histories to iteratively mutate, escalate, or prune candidates. We evaluate WATERFALL across fully observable and reveal-gated partially observable environments ranging from discrete to continuous, comparing against sparse-reward RL, intrinsic-motivation and foundation-model reward-synthesis baselines. Our results indicate that WATERFALL discovers and refines reward programs without access to privileged information, outperforming baselines that retain their native information advantages, most clearly in the POMDP regime. Extensive ablations substantiate that visual evidence, tournament-based selection, and iterative refinement are jointly important. Enforcing this contract is what separates autonomous reward discovery from benchmark-privileged reward shaping.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22854v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.