한국어 초록
안전성은 로보틱스, 자율 주행과 같은 실제 영역에 강화학습(RL) 에이전트를 배포할 때 핵심적인 고려사항이다. 벤치마크는 RL 발전의 중심이어 왔지만, 고정확도 3D 물리를 갖춘 기존 안전성 벤치마크는 계산 속도가 느려 대규모 실험과 빠른 프로토타이핑을 제한한다. 이 공백을 해소하기 위해 우리는 CRAX(Constrained RL Accelerated with JAX)를 제안한다. 현실적인 3D 역학을 갖춘 MuJoCo XLA(MJX) 물리 엔진 위에 구축된 CRAX는 벡터화 연산과 하드웨어 가속을 활용하여, 유사한 CPU 기반 안전성 벤치마크 대비 최대 약 100배의 속도 향상을 달성한다. 이 벤치마크는 6개의 환경 스위트와 3개의 에이전트별 작업을 제공하며, 각각 세 가지 난이도 수준을 포함한다. 6가지 널리 사용되는 안전 RL 방법을 평가한 결과, 어떤 단일 접근법도 모든 작업에서 우위를 점하지 못하며, 성능과 안전성 사이의 트레이드오프가 드러난다. 난이도 수준에 걸친 커리큘럼 학습과 안전성 전이(safety transfer)는 더 어려운 설정에서 직접 학습하는 것보다 성능을 개선할 수 있음을 확인했다.
원문 초록
Safety is a core concern for deploying reinforcement learning (RL) agents in real-world domains such as robotics and autonomous driving. While benchmarks have been central to progress in RL, existing safety benchmarks with high-fidelity 3D physics remain computationally slow, limiting large-scale experimentation and rapid prototyping. To address this gap, we propose CRAX (Constrained RL Accelerated with JAX). Built on top of the MuJoCo XLA (MJX) physics engine with realistic 3D dynamics, CRAX leverages vectorized operations and hardware acceleration, yielding up to ~100x speedups over comparable CPU-based safety benchmarks. The benchmark features six environment suites and three agent-specific tasks, each spanning three difficulty levels. Evaluating six popular safe RL methods shows that no single approach dominates across all tasks, and reveals the trade-offs between performance and safety. We find that curriculum learning across difficulty levels and safety transfer can improve performance over direct training in harder settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20376v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ProcGen 일반화 격차는 무엇을 측정하는가? 행동 규칙, 잔차 엔트로피, 그리고 누락된 무작위 기준선
What Does a ProcGen Generalization Gap Measure? Action Rules, Residual Entropy, and the Missing Random Floor
강화학습(reinforcement learning)에서 일반화 격차(generalization gap), 즉 학습 레벨에서의 리턴(return)에서 홀드아웃(held-out) 레벨에서의 리턴을 뺀 값은 보통 기준점 없이 보고된다. 우리는 이를 실측된 무작위 기준선(random floor), 즉 동일한 평가 하니스(evaluation harness) 하에서 동일한 레벨에 대한 균등 무작위(uniform-random) 정책의 리턴과 비교하여 해석해야 한다고 주장한다. 계산 예산이 제한된 조건(8M 스텝, 16개의 병렬 환경; 세 게임은 25M까지 확장)에서 PPO를 사용한 8개의 ProcGen 환경 실험에서, 이 기준선은 표준적인 수치들이 의미하는 바를 바꾼다. 테스트 시점(test-time)의 행동 규칙(action rule)이 어떤 정책이 측정되는지를 결정한다: miner 환경에서는 샘플링 정책(sampled policy)이 홀드아웃 레벨에서 기준선의 5.1배를 기록하는 반면, 그 argmax 정책은 모든 실행(run)에서 기준선보다 낮은 점수를 기록했으며, 그리디(greedy) 평가는 두 개의 환경을 기준선보다 유의하게 낮은 위치에 놓는다. 수렴(convergence) 진단 지표로 사용할 경우, 가공하지 않은 정책 엔트로피(policy entropy)는 8개 환경 중 6개에서 문제를 표시하지만, 그 엔트로피의 32~66%는 동일한 효과를 갖는 행동들에서 발생한다; 기준선과 비교하면 8개의 샘플링 정책 중 5개는 홀드아웃 레벨에서 명확히 기준선보다 높지만, heist의 정책은 기준선과 구별되지 않는다. 12개의 ProcGen 코드베이스(codebase)에 대한 감사(audit) 결과, 그중 9개는 평가 호출 지점(evaluation call site)에서 명시적인 선택 없이 테스트 시점 행동을 샘플링하는 것으로 나타났다. 우리는 보고되는 모든 격차(gap)가 그 행동 규칙을 명시하고, 평가에 시드(seed)를 고정하며, 분석에 앞서 검정(test) 방법을 명시하고, 두 레벨 집합 모두에 대한 기준선을 함께 보고할 것을 권장한다.
Co-Design Gym: 신체 구조-정책 공동최적화를 위한 통합 벤치마크
Co-design Gym: A Unified Benchmark for Embodiment-Policy Co-optimization
주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.
단계별 제약 조건이 있는 CMDP를 위한 인스턴스 의존적 후회도
Instance-Dependent Regret for CMDPs with Step-Wise Constraints
본 논문에서는 단계별 안전 제약 조건(step-wise safety constraints)을 갖는 에피소드형 테이블 형식의 제약 마르코프 결정 과정(CMDP)에서의 온라인 학습을 연구합니다. 이러한 환경에서 제약 조건은 실행 가능한 정책 하에서 누적 보상의 분산을 결정하고, 결과적으로 학습 난이도를 형성하는 안전한 부분 그래프(safe subgraph)를 유도합니다. 그러나 이러한 구조를 활용하려면 제약 위반을 제어하면서 어떤 행동이 안전한지 학습해야 합니다. 우리는 후보 안전 부분 그래프를 학습하고 그 안에서 분산 적응형 낙관적 계획을 수행하는 효율적인 알고리즘인 SVAE(Safe Variance-Adaptive Exploration)를 제안합니다. SVAE는 높은 확률로 $K$개의 에피소드에 대해 $\widetilde{\mathcal{O}}(\sqrt{SAH\min\{\mathbb{V}_Σ,K\mathrm{Var}^{\star}\}}+S\sqrt{AH^3\min\{K,\mathcal{C}\}}+S^2AH^2)$ 차수의 누적 후회도(cumulative regret)를 달성하며, 여기서 $H$는 단일 에피소드의 기간(horizon), $S$와 $A$는 각각 상태 및 행동의 수입니다. 여기서 $\mathrm{Var}^{\star}$는 안전한 정책들 중 최대 수익 분산이고, $\mathbb{V}_Σ$는 첫 번째 불안전한 행동을 마주하기 전까지 누적된 분산이며, $\mathcal{C}$는 잠재적으로 안전하다고 잘못 간주된 행동을 제거하는 데 따르는 통계적 복잡도를 나타냅니다. 추가적으로 SVAE는 $\widetilde{\mathcal{O}}(H\sqrt{SAK}+S^2AH^2)$의 단계별 제약 위반과 $K$에 대해 다항 로그(polylogarithmic) 비례하는 갭 의존적(gap-dependent) 위반 상한을 달성합니다. 마지막으로, 이러한 인스턴스 특정 수치들에 대한 의존성이 불가피함을 보여주는 하한(lower bound)을 확립합니다.
NeutronGym: LLM 에이전트를 위한 물리 기반 채점 중성자 장치 설계
NeutronGym: Physics-Graded Neutron Instrument Design for LLM Agents
과학 장치 설계는 채점 기준에 논란의 여지가 없다면 언어 모델 에이전트가 물리를 단순히 기억해내는 대신 직접 수행할 수 있는지를 시험합니다. 저희는 저희가 아는 한 중성자 장치 설계를 위한 최초의 실행 가능한 환경인 NeutronGym을 소개합니다. 에이전트는 검증 도구를 통해 장치를 구축하고, McStas가 구축된 대상을 광선 추적(ray-tracing)하며, 단계별 사다리형 체계가 LLM 판별자(judge) 없이 구문, 런타임, 구조 및 과학적 타당성을 채점합니다. 절차적 패밀리(procedural families)는 에이전트가 설정해야 하는 설계 매개변수를 가진 고정 레이아웃의 무제한 인스턴스를 미공개(held-out) 매개변수 영역과 함께 제공하며, 선별된 부분 집합인 McStasBench는 암기 탐침(memorization probe) 및 샌드박스 뒤에 출판된 장치로부터 도출된 16개 태스크를 추가합니다. 7개 모델은 16개 중 최대 7개만 재현했고, 참조 설계를 검색해낸 모델은 없었으며, 개선 목표를 달성한 모델도 없었습니다. 이 환경은 학습에도 활용될 수 있습니다. 해당 환경의 보상에 대한 강화학습(RL)을 통해 Qwen3-8B는 숨겨진 설계에서 목표가 도출된 패밀리의 미공개 인스턴스에서 성능이 11%에서 77%(두 번째 시드에서는 69%)로 향상되어 학습되지 않은 Qwen3-32B를 능가했으며, 이 방법론은 각각 1개의 시드에서 추가적인 3개의 게이트 패밀리에서도 유효하게 유지되었습니다. 분석을 통해 이러한 성능 향상의 실체를 밝힙니다. 사다리형 평가 체계의 부분 점수가 없으면 성능은 60포인트 급락합니다. 보상만으로 학습된 모델은 에이전트의 시뮬레이션 예산 내에서 닫힌 형태(closed-form)의 물리 공식이 주어졌을 때에만 고전적 옵티마이저가 도달하는 수준에 도달하며(81% 대비 77%로, 이 규모에서는 유의미하게 갈리지 않는 격차), 프론티어 모델은 여전히 98~99%를 해결합니다. 신뢰할 수 있는 결과를 얻기 위해 모델 없는 베이스라인으로도 해결할 수 있었던 4가지 태스크 설계를 제외해야 했으며, 이를 찾아낸 탐침을 함께 공개합니다.
VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가
VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations
기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.