Themis: An explainable AI-enabled framework for Reinforcement Learning with Human Feedback
원문 초록
Training safe Reinforcement Learning (RL) systems is inherently challenging, with no guarantee of avoiding unwanted behaviors. The most effective defenses against this are (i) transparency through explainability and (ii) alignment via human feedback. While both show promising results, no publicly available framework currently combines them. To address this, we introduce Themis, an XAI-enabled testing and evaluation framework for Reinforcement Learning from Human Feedback. Themis supports over 200 widely used environments and is easily configurable for experiments in RL, transparency, and alignment. Our results show that Themis can train reward models that match or outperform the environment's true reward signal using human preferences. We also provide a cloud-based platform for collecting human feedback and managing experiments. It is user-friendly, auto-scalable, and supports large participant groups across multiple experiments without extra development overhead. Tests show Themis can support one thousand users in back-to-back experiments on a modest commercial machine.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24622v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
루브릭은 개방형 작업에서 언어 모델을 평가(evaluation)하고 최적화(optimization)하는 데 널리 사용되어 왔습니다. 그러나 기존 연구는 루브릭 디자인을 효과적으로 만드는 요인에 대한 이해가 제한적인 채, 더 나은 루브릭을 생성하는 데 주로 초점을 맞추고 있습니다. 본 연구에서는 기준 조직화, 기준 조작화, 점수 집계 전반에 걸쳐 루브릭 디자인에 대한 체계적인 메커니즘 분석을 수행합니다. 분석 결과, 구조적 조직화는 보다 포괄적인 기준 구축을 가능하게 하지만, 의미론적 구체화만으로는 효과적인 기준 수준 판단을 보장하지 못하며, 정교한 점수 집계는 제한적인 추가 이득만을 제공함을 보여줍니다. 이러한 발견에 기반하여, 적응형 트리 구축과 의미 우선 반응 보정 개선을 결합한 ARTS-Hybrid(Adaptive Rubric Tree Search with Hybrid refinement)를 제안합니다. 여러 벤치마크(benchmark)에 걸친 실험을 통해 ARTS-Hybrid가 엔드투엔드 평가 성능과 내재적 루브릭 품질을 모두 향상함을 입증합니다. 추가 실험에서는 ARTS-Hybrid로 생성된 루브릭이 평가를 넘어 모델 최적화에도 유효한 신호를 제공함을 시사합니다.
콜모고로프-아놀드 네트워크의 샘플 효율성
Sample-Efficiency of Kolmogorov-Arnold Networks
심층 강화학습은 기존 제어 방식에 비해 상당한 성능 향상을 달성했습니다. 그러나 실제 응용 분야에서 학습을 진행할 때 핵심적인 과제는 비용이 많이 드는 샘플을 획득하는 것입니다. 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Networks)는 최근 제안된 구조로, 다층 퍼셉트론(Multi-Layer-Perceptron) 구조와 비교했을 때 현저히 높은 매개변수 효율성과 해석 가능성을 바탕으로 제어 문제에서의 물리적 관계를 효과적으로 학습할 수 있습니다. 본 연구에서는 파인만(Feynman) 데이터셋과 Gymnasium RL 벤치마크를 포함하는 계산 실험을 통해 샘플 효율성을 체계적으로 연구합니다. 실험 결과, 콜모고로프-아놀드 구조를 사용하면 40% 더 적은 샘플로도 유사한 성능을 달성할 수 있으며, 학습 과정에서 최대 50%의 상대적 성능 향상이 나타남을 보여줍니다. 관찰된 이득은 다양한 수준의 보상 노이즈에도 강건합니다. 이러한 결과는 보다 샘플 효율적인 강화학습을 위한 콜모고로프-아놀드 구조의 잠재력을 강조합니다. 코드: https://github.com/DerKevinRiehl/neurips26_kan_training
CityDeploy-Bench: 다중 송신기 네트워크 배치를 위한 물리 기반 공간 집합 계획 벤치마킹
CityDeploy-Bench: Benchmarking Physics-Grounded Spatial Set Planning for Multi-Transmitter Network Deployment
도시 규모의 무선 배치 자동화는 복잡한 도심 전파 환경과 네트워크 전역의 간섭 속에서 여전히 어려운 과제로 남아 있다. 본 논문에서는 다중 송신기 배치 문제를 통합된 광선 추적(ray-tracing) 검증기 하에서 물리 기반 공간 집합 계획(physics-grounded spatial set planning) 문제로 재구성한 벤치마크인 CityDeploy-Bench를 소개한다. 이 벤치마크는 유틸리티(utility) 표현과 계획 다이내믹스를 분리함으로써, 다양한 플래너(planner)에 대해 직접적인 스칼라 보상, 관계형 모델, 그리고 고차 상호작용 구조 간의 통제된 비교를 가능하게 한다. 실험 결과, 물리적 결합(coupling)이 커질수록 계획 행동에서 명확한 전환이 나타난다. 배치 품질은 학습된 유틸리티가 송신기 간의 집합적 상호작용을 포착하는지에 점점 더 의존하게 되며, 반면 더 강력한 탐색만으로는 누락된 관계형 구조를 보완할 수 없다. 이는 다중 송신기 배치가 독립적인 공간적 의사결정들의 집합이 아니라, 물리적으로 상호작용하는 집합에 대한 조정(coordination) 문제임을 보여준다. 우리는 의사결정 학습(decision learning)과 물리 기반 무선 네트워크 설계를 연결하는 연구를 위한 재현 가능한 테스트베드로서 CityDeploy-Data와 벤치마크 프레임워크를 공개한다.
선호도의 검증 가능성, 표현 가능성, 그리고 암묵적 구성요소
Verifiable, Articulable, and Tacit Components of Preference
단편 소설을 흥미진진하게 만들거나, 뉴스 기사를 보도 가치 있게 만들거나, 수학적 증명을 우아하게 만드는 것은 무엇일까요? 이러한 개념들은 명시적인 표현(articulation)이나 검증(verification)에 저항하며, 그 의미는 최소한 부분적으로는 암묵적(tacit)입니다. 그러나 현대의 AI 모델(model)들은 주로 명시적으로 표현된 원칙(constitution), 채점 기준표(rubric), 검증기(verifier)를 통해 개선되며(예: RLAIF 및 RLVR), 선호도의 암묵적 구성요소는 대체로 충분히 연구되지 않았습니다. 본 연구에서는 7개 창의적 영역에 걸쳐 3억 1,700만 개의 인간 선호도 판단으로 라벨링된 280만 개의 텍스트와 42개 벤치마크(benchmark) 과제를 포함하는 대규모 라벨링 선호도 데이터셋(dataset) CreativePreferences를 소개합니다. 우리는 이러한 라벨을 실행 가능한 프로그램, 루브릭 뱅크, 조밀하게 학습된 모델(각각 V, A, VAT)로 모델링합니다. 그 결과 견고한 표현 가능성 격차(VAT-VA)와 검증 가능성 격차(VAT-V)를 관찰했습니다. 또한 표현 가능하고 검증 가능한 지표를 발견하고, 허위 변수를 식별하며, 포획-재포획(capture-recapture) 방식을 통해 미발견 지표의 가치를 추정하는 새로운 측정 접근법으로 각 격차의 상한 및 하한을 추정합니다. 이러한 격차는 모든 영역에서 발생하며, 전통적으로 완전히 검증 가능한 것으로 취급되던 영역(예: 수학 및 소프트웨어 공학과 같은 정확성 중심 영역, 뉴스, 특허, 동료 평가와 같은 주장 및 신규성 중심 영역)에서도 나타납니다. 격차의 크기는 도메인에 따라 달라지며(예: 동료 평가 및 창작 글쓰기가 가장 큰 표현 가능성 격차를 보임), 콜린스(Collins)의 집단적 암묵지(collective tacit knowledge)와 일치하게 판단에 참여하는 사람이 많아질수록 격차가 넓어집니다. 우리는 두 가지 결과를 제시합니다: (1) 인간 생성물에 대해 전체 모델이 명시된 기준과 종종 불일치하면서도 인간 선호도와 더 밀접하게 일치하며, (2) 굿하트의 법칙(Goodhart's law)과의 비유처럼 선호도를 명시적으로 표현하는 행위 자체가 선호도를 암묵적 차원으로부터 벗어나게 만듭니다. 표현 가능성 및 검증 가능성 격차는 중대한 영향을 미칩니다. 우리는 어떤 과제를 프롬프트로 처리할 수 있는지, 학습(learning) 메커니즘을 어떻게 개선할 수 있는지, 그리고 언제 판단을 인간에게 맡겨야 하는지에 대한 권장 사항을 제시합니다.
5G 및 차세대 네트워크에서의 에너지 절감: 양자 강화학습 접근법
Energy Saving in 5G and Beyond Networks: A Quantum Reinforcement Learning Approach
에너지 절감은 5G 및 차세대(Beyond 5G) 네트워크에서 중요한 과제가 되었습니다. 연결된 기기의 급격한 증가는 전반적인 네트워크 에너지 수요를 증가시켜 운영 비용을 감당하기 어려운 수준으로 끌어올렸습니다. 기지국(BS)은 무선 접속망(RAN) 전체 에너지의 약 60-70%를 소비하며 에너지 사용량의 가장 큰 비중을 차지합니다. 따라서 이 문제를 해결하기 위해 본 논문에서는 사용자 단말(UE)의 동적 동작을 고려하면서 기지국의 에너지 사용량을 최적화합니다. 심층 강화학습(DRL)은 사용자 밀도가 낮을 때 기지국 전원을 자동으로 켜고 끄거나, 전송 전력을 조절하여 에너지 효율과 서비스 품질(QoS)의 균형을 맞추는 등 효과적인 에너지 절감 정책을 결정하기 위한 자연스러운 후보입니다. 그러나 과중한 학습(training) 부담과 밀집된 5G 환경에서 상태 및 행동 공간의 기하급수적인 증가는 탐험(exploration)을 점점 더 어렵게 만듭니다. 이러한 한계를 극복하기 위해, 본 논문에서는 매개변수화된 양자 회로를 통해 중첩과 얽힘을 포함한 양자 원리를 활용하여 기존 심층 신경망에 의존하는 DRL보다 훨씬 빠른 수렴(convergence)을 가능하게 하는 새로운 양자 강화학습(QRL) 알고리즘을 소개합니다. 광범위한 시뮬레이션을 통해 제안된 QRL이 단말의 이동성이 매우 높고 기지국 안테나와의 연결이 빈번하게 전환되는 상황에서도 QoS를 유지하면서 에너지 소비를 대폭 줄일 수 있음을 입증합니다. 또한, QRL은 수렴 속도와 학습 복잡도 측면 모두에서 DRL 및 Q-러닝(Q-Learning)을 일관되게 능가합니다.
다중 신뢰도 정책 그래디언트를 통한 데이터 부족 강화학습 안정화
Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning
온-정책(on-policy) 강화학습(RL)을 위한 정책 그래디언트(policy gradient) 방법은 비용이 많이 들고 희소한 목표 도메인(target-domain) 데이터가 잡음이 많은 그래디언트 추정치를 낳을 때 불안정해질 수 있다. 본 연구는 제한적인 고신뢰도(high-fidelity, HF) 목표 도메인 데이터를, 단순화된 시뮬레이터 등에서 얻을 수 있는 풍부하고 저렴하지만 편향된 저신뢰도(low-fidelity, LF) 데이터로 보완함으로써 이 문제를 해결한다. 대부분의 기존 방법은 LF 데이터에 기반한 편향된 목적함수를 직접 최적화한다. 이와 달리, 최근 제안된 다중 신뢰도 정책 그래디언트(multi-fidelity policy gradient, MFPG) 프레임워크는 LF 데이터를 오직 분산을 줄이고 HF 데이터 효율을 높이는 제어 변량(control variate)을 구성하는 데에만 사용하며, 정책 그래디언트 추정량에 편향을 주지 않는다. 그러나 기존에 발표된 MFPG 연구는 소규모 시뮬레이션 과제에서의 REINFORCE로 한정되어 있다. 본 연구는 GPU 병렬 시뮬레이션 및 실제 물리 로봇에서 동작하는 현대적인 액터-크리틱(actor-critic) 학습을 위해 MFPG를 확장한다. 분석과 실험 결과, 근접 정책 최적화(proximal policy optimization, PPO)에 단순하게 확장을 적용하면 신뢰도 간 상관관계(cross-fidelity correlation)를 잃거나 분산이 증가할 수 있음을 보인다. 본 연구가 제안하는 MFPG-PPO는 샘플링, 어드밴티지(advantage) 추정, 제어 변량 구성을 재설계하여 신뢰도 간 상관관계를 유지하고, 추정량의 불확실성을 모니터링하여 분산 증가를 방지함으로써 이러한 실패를 해결한다. 또한 고정된 샘플링 예산을 고신뢰도 및 저신뢰도 데이터 소스에 분배하는 예산 인지(budget-aware) MFPG-PPO를 도입한다. LF에서 HF로의 전이 난이도와 HF 데이터 예산이 다양한 모의 로봇 보행(locomotion) 과제 전반에서, MFPG-PPO는 거의 모든 설정에서 HF 데이터만으로 학습한 PPO보다 성능이 우수하며, 가장 어려운 과제에서 가장 작은 HF 예산으로도 16배 더 많은 HF 데이터로 학습한 PPO의 성능과 꾸준히 대등한 결과를 보인다. 반면, LF 데이터를 사용하는 대부분의 기준선(baseline) 방법은 LF에서 HF로의 직접적인 전이가 성공하는 경우에만 좋은 성능을 보인다. MFPG-PPO는 업데이트당 단 4개의 실제 로봇 에피소드만 사용하고 인간 시연(human demonstration) 없이도 실제 Franka 로봇 암에서 안정적인 학습을 가능하게 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.