arXiv:2609.32532v2 cs.LG

ProcGen 일반화 격차는 무엇을 측정하는가? 행동 규칙, 잔차 엔트로피, 그리고 누락된 무작위 기준선

What Does a ProcGen Generalization Gap Measure? Action Rules, Residual Entropy, and the Missing Random Floor

Abhisek Keshari

제출 2026-09-26

한국어 초록

강화학습(reinforcement learning)에서 일반화 격차(generalization gap), 즉 학습 레벨에서의 리턴(return)에서 홀드아웃(held-out) 레벨에서의 리턴을 뺀 값은 보통 기준점 없이 보고된다. 우리는 이를 실측된 무작위 기준선(random floor), 즉 동일한 평가 하니스(evaluation harness) 하에서 동일한 레벨에 대한 균등 무작위(uniform-random) 정책의 리턴과 비교하여 해석해야 한다고 주장한다. 계산 예산이 제한된 조건(8M 스텝, 16개의 병렬 환경; 세 게임은 25M까지 확장)에서 PPO를 사용한 8개의 ProcGen 환경 실험에서, 이 기준선은 표준적인 수치들이 의미하는 바를 바꾼다. 테스트 시점(test-time)의 행동 규칙(action rule)이 어떤 정책이 측정되는지를 결정한다: miner 환경에서는 샘플링 정책(sampled policy)이 홀드아웃 레벨에서 기준선의 5.1배를 기록하는 반면, 그 argmax 정책은 모든 실행(run)에서 기준선보다 낮은 점수를 기록했으며, 그리디(greedy) 평가는 두 개의 환경을 기준선보다 유의하게 낮은 위치에 놓는다. 수렴(convergence) 진단 지표로 사용할 경우, 가공하지 않은 정책 엔트로피(policy entropy)는 8개 환경 중 6개에서 문제를 표시하지만, 그 엔트로피의 32~66%는 동일한 효과를 갖는 행동들에서 발생한다; 기준선과 비교하면 8개의 샘플링 정책 중 5개는 홀드아웃 레벨에서 명확히 기준선보다 높지만, heist의 정책은 기준선과 구별되지 않는다. 12개의 ProcGen 코드베이스(codebase)에 대한 감사(audit) 결과, 그중 9개는 평가 호출 지점(evaluation call site)에서 명시적인 선택 없이 테스트 시점 행동을 샘플링하는 것으로 나타났다. 우리는 보고되는 모든 격차(gap)가 그 행동 규칙을 명시하고, 평가에 시드(seed)를 고정하며, 분석에 앞서 검정(test) 방법을 명시하고, 두 레벨 집합 모두에 대한 기준선을 함께 보고할 것을 권장한다.

원문 초록

A generalization gap in reinforcement learning, return on training levels minus return on held-out levels, is usually reported without a reference point. We argue that it should be read against a measured random floor: the return of a uniform-random policy on the same levels under the same evaluation harness. On eight ProcGen environments with PPO at a compute-limited budget (8M steps, 16 parallel environments; three games extended to 25M), the floor changes what standard numbers mean. The test-time action rule decides which policy is measured: in miner, the sampled policy scores 5.1x the floor on held-out levels while its argmax scores below it in every run, and greedy evaluation places two environments significantly below the floor. Used as a convergence diagnostic, raw policy entropy flags six of eight environments, but 32-66% of that entropy lies on actions with identical effects; against the floor, five of eight sampled policies are clearly above it on held-out levels and heist's is not distinguishable from it. An audit of twelve ProcGen codebases finds that nine sample test-time actions with no explicit choice at the evaluation call site. We recommend that every reported gap state its action rule, seed its evaluation and specify its tests before analysis, and report the floor on both level sets.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.32532v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02366v1cs.LG공통 태그 Benchmarking, reinforcement learning rl

Co-Design Gym: 신체 구조-정책 공동최적화를 위한 통합 벤치마크

Co-design Gym: A Unified Benchmark for Embodiment-Policy Co-optimization

주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.

arXiv:2610.02405v1cs.AI공통 태그 Benchmarking, reinforcement learning rl

터미널 에이전트 학습이 정체될 때: 데이터 생성 및 검증의 과제 규명

When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge

강화학습(RL) 학습을 위한 터미널 작업과 검증기(verifier)를 생성하기 위해 Claude Opus와 같은 프론티어 모델을 메타 에이전트로 사용하는 방식이 점차 보편화되고 있습니다. 그러나 실행 가능한 Docker 이미지와 실행 테스트 스위트가 존재하더라도 터미널 에이전트 학습을 위한 신뢰할 수 있는 엔드투엔드 파이프라인이 보장되지는 않습니다. 본 연구에서는 이러한 간극에서 착안하여 벤치마크 무효성, 하네스 취약성, 보상 정렬 불일치라는 세 가지 유형의 실패를 진단하는 메타 에이전트 파이프라인을 제시합니다. 프롬프트 재설계와 컨텍스트 확장을 통해 기준선(baseline) 해결 가능성을 5.6배 높였으나, Claude Opus가 생성한 작업에서 9B 모델은 20스텝 이내에 평균 pass@2 81.3%로 포화 상태에 도달합니다. 학습 설정을 변경하지 않고 고난도 작업을 추가하면 평균 pass@2가 20.6%로 감소하며, 이는 해결 가능성 대역(solvability band)이 모델에 따라 고유함을 보여주는 강력한 증거입니다. 이러한 결과는 메타 에이전트의 신뢰성을 확보하기 위해 해결 가능성 대역 보정, 검증기 감사, 인프라 오류 계산이 사후 진단이 아닌 일급(first-class) 평가 기준으로 요구됨을 보여줍니다.

arXiv:2610.03631v1cs.AI공통 태그 Benchmarking, reinforcement learning rl

NeutronGym: LLM 에이전트를 위한 물리 기반 채점 중성자 장치 설계

NeutronGym: Physics-Graded Neutron Instrument Design for LLM Agents

과학 장치 설계는 채점 기준에 논란의 여지가 없다면 언어 모델 에이전트가 물리를 단순히 기억해내는 대신 직접 수행할 수 있는지를 시험합니다. 저희는 저희가 아는 한 중성자 장치 설계를 위한 최초의 실행 가능한 환경인 NeutronGym을 소개합니다. 에이전트는 검증 도구를 통해 장치를 구축하고, McStas가 구축된 대상을 광선 추적(ray-tracing)하며, 단계별 사다리형 체계가 LLM 판별자(judge) 없이 구문, 런타임, 구조 및 과학적 타당성을 채점합니다. 절차적 패밀리(procedural families)는 에이전트가 설정해야 하는 설계 매개변수를 가진 고정 레이아웃의 무제한 인스턴스를 미공개(held-out) 매개변수 영역과 함께 제공하며, 선별된 부분 집합인 McStasBench는 암기 탐침(memorization probe) 및 샌드박스 뒤에 출판된 장치로부터 도출된 16개 태스크를 추가합니다. 7개 모델은 16개 중 최대 7개만 재현했고, 참조 설계를 검색해낸 모델은 없었으며, 개선 목표를 달성한 모델도 없었습니다. 이 환경은 학습에도 활용될 수 있습니다. 해당 환경의 보상에 대한 강화학습(RL)을 통해 Qwen3-8B는 숨겨진 설계에서 목표가 도출된 패밀리의 미공개 인스턴스에서 성능이 11%에서 77%(두 번째 시드에서는 69%)로 향상되어 학습되지 않은 Qwen3-32B를 능가했으며, 이 방법론은 각각 1개의 시드에서 추가적인 3개의 게이트 패밀리에서도 유효하게 유지되었습니다. 분석을 통해 이러한 성능 향상의 실체를 밝힙니다. 사다리형 평가 체계의 부분 점수가 없으면 성능은 60포인트 급락합니다. 보상만으로 학습된 모델은 에이전트의 시뮬레이션 예산 내에서 닫힌 형태(closed-form)의 물리 공식이 주어졌을 때에만 고전적 옵티마이저가 도달하는 수준에 도달하며(81% 대비 77%로, 이 규모에서는 유의미하게 갈리지 않는 격차), 프론티어 모델은 여전히 98~99%를 해결합니다. 신뢰할 수 있는 결과를 얻기 위해 모델 없는 베이스라인으로도 해결할 수 있었던 4가지 태스크 설계를 제외해야 했으며, 이를 찾아낸 탐침을 함께 공개합니다.

arXiv:2610.00994v1cs.CV공통 태그 Benchmarking, reinforcement learning rl

VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가

VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations

기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.