PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32532v2cs.LG

ProcGen 일반화 격차는 무엇을 측정하는가? 행동 규칙, 잔차 엔트로피, 그리고 누락된 무작위 기준선

What Does a ProcGen Generalization Gap Measure? Action Rules, Residual Entropy, and the Missing Random Floor

강화학습(reinforcement learning)에서 일반화 격차(generalization gap), 즉 학습 레벨에서의 리턴(return)에서 홀드아웃(held-out) 레벨에서의 리턴을 뺀 값은 보통 기준점 없이 보고된다. 우리는 이를 실측된 무작위 기준선(random floor), 즉 동일한 평가 하니스(evaluation harness) 하에서 동일한 레벨에 대한 균등 무작위(uniform-random) 정책의 리턴과 비교하여 해석해야 한다고 주장한다. 계산 예산이 제한된 조건(8M 스텝, 16개의 병렬 환경; 세 게임은 25M까지 확장)에서 PPO를 사용한 8개의 ProcGen 환경 실험에서, 이 기준선은 표준적인 수치들이 의미하는 바를 바꾼다. 테스트 시점(test-time)의 행동 규칙(action rule)이 어떤 정책이 측정되는지를 결정한다: miner 환경에서는 샘플링 정책(sampled policy)이 홀드아웃 레벨에서 기준선의 5.1배를 기록하는 반면, 그 argmax 정책은 모든 실행(run)에서 기준선보다 낮은 점수를 기록했으며, 그리디(greedy) 평가는 두 개의 환경을 기준선보다 유의하게 낮은 위치에 놓는다. 수렴(convergence) 진단 지표로 사용할 경우, 가공하지 않은 정책 엔트로피(policy entropy)는 8개 환경 중 6개에서 문제를 표시하지만, 그 엔트로피의 32~66%는 동일한 효과를 갖는 행동들에서 발생한다; 기준선과 비교하면 8개의 샘플링 정책 중 5개는 홀드아웃 레벨에서 명확히 기준선보다 높지만, heist의 정책은 기준선과 구별되지 않는다. 12개의 ProcGen 코드베이스(codebase)에 대한 감사(audit) 결과, 그중 9개는 평가 호출 지점(evaluation call site)에서 명시적인 선택 없이 테스트 시점 행동을 샘플링하는 것으로 나타났다. 우리는 보고되는 모든 격차(gap)가 그 행동 규칙을 명시하고, 평가에 시드(seed)를 고정하며, 분석에 앞서 검정(test) 방법을 명시하고, 두 레벨 집합 모두에 대한 기준선을 함께 보고할 것을 권장한다.