PyTorchKR Papers

최신 논문

총 23편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01525v2math.OC

Mean Field Reinforcement Learning: Theory and Algorithms for Mean Field Control

This monograph provides an introduction to mean field reinforcement learning through the lens of Markov decision processes arising from large-population stochastic control with mean field interactions and common noise. Starting from the connection between multi-agent reinforcement learning and mean field control, it develops the probabilistic, mathematical, and control-theoretic framework needed to formulate representative-agent learning problems, analyze their relationship with finite-population systems, and study both general and linear-quadratic models. The presentation includes dynamic programming principles, propagation-of-chaos limits, and theoretical analyses of tabular Q-learning and policy-gradient methods. It also discusses numerical implementations, including tabular schemes and deep reinforcement learning methods such as deep deterministic policy gradient. The goal is to give readers a coherent bridge between mean field control theory and reinforcement learning methodology, emphasizing the mathematical structure of the problems and the design of tractable learning approaches for large stochastic populations.

arXiv:2610.15888v1cs.LG

검증 가능한 보상을 활용한 강화학습을 위한 분산-최적 상태 리샘플링

Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards

검증 가능한 보상을 활용한 강화학습(RL)은 롤아웃 예산의 상당 부분을 학습 신호를 제공하지 않는 상태에 소비합니다. 본 연구에서는 이를 샘플링 분포 자체에 대한 질문으로 재구성합니다. 즉, 고정된 롤아웃 예산 하에서 어떤 상태 분포가 정책 그래디언트 추정량의 분산을 최소화하는가 하는 점입니다. 이에 대한 해답은 닫힌 형식(closed-form)의 네이만 배분(Neyman allocation), $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$으로 도출되며, 이는 GRPO의 그룹 상대적 이점(group-relative advantage)과 자연스럽게 연결되고 외재적으로 부과된 스케줄 없이도 정책이 향상됨에 따라 창발적인 역방향 커리큘럼(reverse curriculum)을 유도합니다. 이러한 원리를 바탕으로, 접두 문맥(prefix) 재생 버퍼와 비용이 들지 않는 분산 프록시를 사용하는 GRPO의 플러그인 수정 기법인 VSR(Variance-driven State Resampling)을 제안합니다. 수학적 추론 벤치마크 및 긴 주기의 에이전트(agentic) 과제(Sokoban, BabyAI)에서 VSR은 업데이트당 생성되는 토큰 수를 줄이면서도 대부분의 벤치마크에서 GRPO 및 GiGPO보다 우수한 성능을 달성합니다.

arXiv:2610.13692v1cs.LG

분산 감소 정책 그래디언트는 거의 미니맥스-최적이다

Variance-Reduced Policy Gradient is Nearly Minimax-Optimal

표준 정책 그래디언트(Policy Gradient, PG) 알고리즘은 몬테카를로 업데이트에 의존하기 때문에 추정 분산이 높다는 문제를 가진다. 오프-정책 분산 감소(off-policy variance reduction)가 이 문제를 완화하지만, 현재로서는 최적의 샘플 복잡도(sample complexity)를 확립하려면 균일하게 유계인(uniformly bounded) 중요도 가중치(importance weights)와 같은 제한적인 가정이나 비현실적인 2차(second-order) 연산이 필요하다. 본 연구에서는 Loopless Variance-Reduced PG(LVR-PG)를 소개한다. 이는 재귀적 업데이트(recursive update)와 방어적 중요도 샘플링(defensive importance sampling)을 결합한 1차(first-order) 추정량들의 한 클래스를 추상화하는 통합 이론적 프레임워크로, PAGE-PG와 STORM-PG와 같은 기존 추정량들을 포함한다. 우리는 일반적인 파라메트릭 정책(parametric policy)에 대해 약한 그래디언트 지배(weak gradient domination) 조건 하에서 이 알고리즘 클래스가 $\tilde{\mathcal{O}}(ε^{-2})$의 라스트 이터레이트(last-iterate) 전역 수렴(global convergence)을 달성함을 증명한다. 우리는 순수하게 1차 업데이트만을 사용하여, 최소한의 가정 하에 그래디언트 전처리기(gradient preconditioner) 없이 이 보장을 확립한다. 최신 하한(lower bound)을 연속적인 파라메트릭 정책(continuous parametric policy)으로 확장함으로써, 우리는 $Ω(ε^{-2})$의 샘플 복잡도 한계를 확립하며, 이는 로그 인자(logarithmic factor)와 호라이즌(horizon) 항을 제외하면 우리의 프레임워크가 미니맥스 최적(minimax-optimal)임을 확인해 준다.

arXiv:2601.23135v2cs.LG

GRPO에 정규화가 필요한 이유: 적응형 그래디언트에 대한 국소 곡률 관점

Why GRPO Needs Normalization: A Local-Curvature Perspective on Adaptive Gradients

강화학습(RL)은 언어 모델 추론의 핵심 동력이 되었습니다. 여러 RL 알고리즘 중 그룹 상대 정책 최적화(GRPO)는 프롬프트별 베이스라인과 분산 정규화를 사용하여 크리틱(critic)의 필요성을 없앰으로써 사실상의 표준으로 자리 잡았습니다. 그러나 이러한 정규화가 왜, 그리고 언제 도움이 되는지는 여전히 불분명합니다. 본 연구에서는 시퀀스 수준 정책 그래디언트의 국소 곡률(local curvature) 관점을 통해 두 질문에 모두 답하며, 표준편차 정규화가 적응형 그래디언트(adaptive gradient)를 구현함을 보입니다. 이론적으로, 완만한 조건 하에서 GRPO가 정규화되지 않은 REINFORCE 대비 향상된 수렴 속도를 달성함을 증명하며, 이때의 이득은 프롬프트 및 반복 전반에 걸친 평균 프롬프트 내 보상 표준편차로 특징지어집니다. 나아가 기대 업데이트가 전체 그래디언트와 일치하도록 유지되는 GRPO의 중요도 샘플링(importance sampling) 변형인 IS-GRPO를 도입하고, REINFORCE와 동일한 형태의 수렴 보장을 증명합니다. 이는 실제 학습 과정에서 측정 가능한 배수만큼 실제로 더 긴밀(tight)합니다. 실증적으로는 GSM8K 및 MATH에서 곡률과 분산 간의 연결고리를 검증하고, 실제 학습 과정에서 이론적 한계를 결정짓는 값들을 측정합니다. 1.5B 규모에서는 프롬프트별 정규화가 정규화되지 않은 베이스라인과 전역적으로 정규화된 베이스라인 모두를 능가하며, 이러한 이득은 프롬프트별 분산이 이질적으로 변하는 학습 중간 단계에서 나타납니다. 7B 규모에서는 정규화 방식 간의 통계적 차이가 사라지지만 IS-GRPO가 소폭의 우위를 유지하며, 이는 이득을 얻기 위해 이질성이 필요하다는 이론적 예측과 일치합니다.

arXiv:2505.03155v2cs.LG

선형 함수 근사를 적용한 소프트맥스 정책 그래디언트의 전역 수렴에 대한 재고: 다중 팔 밴딧 문제를 중심으로

Rethinking the Global Convergence of Softmax Policy Gradient with Linear Function Approximation: The Case of Multi-Armed Bandits

정책 그래디언트(Policy Gradient, PG) 방법론은 강화학습(RL)의 실증적 성공에서 필수적인 역할을 해왔습니다. 대규모 상태-행동 공간을 다루기 위해 PG 방법론은 일반적으로 함수 근사(function approximation)와 함께 사용됩니다. 이러한 설정에서 문제 의존적 양을 모델링할 때 발생하는 근사 오차(approximation error)는 PG 방법론의 전역 수렴(global convergence)을 규명하는 핵심 개념입니다. 본 논문에서는 선형 함수 근사를 적용한 소프트맥스 PG($\texttt{Lin-SPG}$)를 연구하며, 밴딧(bandit) 설정에서조차 근사 오차가 알고리즘의 전역 수렴과 무관함을 입증합니다. 이에 따라 표준 확률적 다중 팔 밴딧(stochastic multi-armed bandit) 문제에서 근사 오차가 미치는 영향을 재고합니다. 먼저 $\texttt{Lin-SPG}$의 점근적 전역 수렴을 보장할 수 있는 정책 특징 표현(policy feature representation)에 대한 조건을 규명합니다. 이러한 특징 조건 하에서, 문제별 특정 학습률(learning rate)을 적용한 $\texttt{Lin-SPG}$의 $T$회 반복이 최적 정책으로의 $O(1/T)$ 수렴을 가져옴을 추가로 증명합니다. 나아가 임의의 상수 학습률을 적용한 $\texttt{Lin-SPG}$ 역시 최적 정책으로의 점근적 수렴을 보장할 수 있음을 증명합니다.

arXiv:2609.24174v1cs.AI

CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화

CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.

arXiv:2607.22982v1cs.LG

Finite-Time Analysis of the Natural Policy Gradient in Finite-Horizon Markov Decision Processes

자연 정책 그래디언트(NPG)는 신뢰 영역 정책 최적화(Trust Region Policy Optimization) 및 근위 정책 최적화(Proximal Policy Optimization)와 같이 널리 사용되는 방법의 기반이 되는, 잘 정립된 강화학습 알고리즘이며, 이들 방법 모두 강력한 실증적 성공을 보여주었다. 본 논문에서는 동역학이 알려져 있고 수평선 의존적 전이 커널(horizon-dependent transition kernels)을 갖는 유한 수평선 마르코프 결정 과정(Markov Decision Processes)에서 정확한 NPG를 연구한다. 이 설정에서 해당 알고리즘에 대한 최초의 유한 시간 수렴 보장을 제공하며, 상수 및 증가하는 학습률(step size) 체제를 모두 고려한다. 상수 학습률 $η_t=η$에 대해, NPG가 $t$회 반복 후 $\mathcal{O}(H^{2}/t)$의 속도로 아선형(sublinear) 수렴함을 증명한다. 여기서 $H$는 수평선 길이이다. 또한 이 상수 학습률 분석을 전체 지지(full support) 투영 분포 하의 정확한 모집단 투영 오라클(population-projection oracle)에서의 선형 MDP로 확장하여, 테이블(tabular) 설정과 동일한 아선형 속도를 재현한다. 더 나아가 증가하는 학습률에 대해서는, 이 알고리즘이 문제 의존 상수 $\vartheta_ρ> 1$에 대해 $\mathcal{O}\left(\left(1-\frac{1}{\vartheta_ρ}\right)^t\right)$의 선형 수렴 속도를 달성함을 증명하며, $η_0>0$ 및 $H \geq 2$인 형태 $η_t=η_0(H/(H-1))^t$의 수평선만 의존하는(horizon-only) 강건 스케줄(robust schedule)이 동일한 기하(geometric) 속도를 달성한다.

arXiv:2607.22012v1cs.LG

문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.

arXiv:2510.04019v3cs.LG

확산 언어 모델 추론을 위한 단순 정책 그래디언트

Simple Policy Gradients for Reasoning with Diffusion Language Models

확산 대규모 언어 모델(dLLM)은 자기회귀(autoregressive) LLM에 대한 유망한 대안을 제시하지만, 강화학습(RL)을 포함한 효과적인 사후 학습 기법의 부재는 dLLM, 특히 다운스트림 응용에서 핵심 과제로 남아 있다. 기존 접근법은 편향된 가능도 근사를 요구하는 시퀀스 수준 관점에 의존하는 경우가 많다. 본 연구에서는 dLLM의 마르코프(Markovian) 특성을 활용하여 전체 시퀀스가 아닌 개별 디노이징(denoising) 단계를 최적화하는 정책 그래디언트 알고리즘인 Amortized Group Relative Policy Optimization(AGRPO)을 제안한다. 우리 접근법은 학습된 정책과 추론 과정 간의 정렬을 개선하며, 새로운 시간 단계(timestep) 추정 방식을 통해 효율적이고 편향 없는 그래디언트 업데이트도 가능하게 한다. 수학 및 추론 과제에서 AGRPO의 효과를 입증하며, 기본 LLaDA 모델 대비 Countdown과 Sudoku에서 각각 +59.4% 및 +69.7%의 절대 정확도 향상을 달성하여 diffu-GRPO와 같은 유사 방법을 능가했다. 코드는 https://github.com/probablyabot/agrpo 에서 제공된다.

arXiv:2607.15200v1cs.CL

디퓨전 언어 모델을 위한 마스크 인식 정책 그래디언트

Mask-Aware Policy Gradients for Diffusion Language Models

강화학습은 대규모 언어 모델의 추론 개선에 효과적임이 입증되었지만, 마스크 디퓨전 언어 모델(Masked Diffusion Language Models, MDLM)로 이를 확장하는 것은 로그 가능도 추정의 난해함(intractability) 때문에 여전히 어렵다. 기존 접근법은 토큰 예측만을 모델링하여 이 로그 가능도를 근사하며, 생성 과정에서 위치가 언마스크되는 순서는 무시한다. MDLM 생성은 각 단계에서 두 가지 결정을 수반한다는 것을 관찰했다: 각 마스크된 위치에 어떤 토큰을 배치할지, 그리고 어떤 위치를 재마스크할지. 이를 2단계 행동 MDP로 형식화하고, 정책 그래디언트가 자연스럽게 토큰 항과 마스킹 항으로 분해됨을 보인다. 두 항의 최적화를 결합하면 수학적 추론 및 코딩 벤치마크에서 최첨단(state-of-the-art) 결과를 달성하며, GSM8K에서 87.1%, MBPP에서 53.4%의 점수를 기록한다.

arXiv:2607.13274v1cs.LG

Actor-Critic 분해: 실무자를 위한 설계 구성요소 대규모 실증 연구

Deconstructing Actor-Critic: A Large-scale Empirical Study of Design Components for Practitioners

강화학습(RL)은 융합 플라즈마와 자율 주행차부터 약물 발견, 음용수 처리에 이르기까지, 신뢰성이 필수적이고 튜닝 예산이 제한적인 실제 시스템 제어에 점점 더 많이 고려되고 있다. Actor-critic 알고리즘은 정책을 업데이트하는 방식, 행동에 대한 분포를 표현하는 방식, 그래디언트를 추정하는 방식, 그리고 가치 추정기(value estimator) 대비 정책을 얼마나 자주 업데이트하는지와 같은 일련의 설계 결정을 공유한다. 실제 정수 처리장에서 유래한 제어 작업을 사용하여, 33,000건이 넘는 실험을 분석해 이러한 구성요소가 실행 간 변동성과 하이퍼파라미터에 대한 민감도에 어떤 영향을 미치는지 밝힌다. 가우시안(Gaussian) 행동 분포와 pathwise 그래디언트 추정기를 사용하는 일반적인 기본 설정은 가장 신뢰성이 낮은 구성 중 하나인 반면, 적응형 업데이트 스케줄을 갖춘 bounded 분포는 다양한 설정 범위에서 강건하게 유지된다. 이러한 결과는 과학 및 공학 분야의 실무자들에게, actor-critic 방법을 새로운 실제 제어 환경에 적용할 때 이해하고 구성요소 수준에서 결정을 내리는 데 실증적 가이드라인을 제공한다.

arXiv:2607.12590v1eess.SY

강화학습에서 정책-환경 공동 설계를 위한 환경 매개변수 그래디언트 정리

Environment Parameter Gradient Theorem for Policy-Environment Co-Design in Reinforcement Learning

강화학습(RL)은 전통적으로 고정된 환경에 대한 제어 정책을 학습하는 것에 관심을 둔다. 그러나 많은 공학 시스템에서는 환경 자체가 변경 가능하다: 물리적 또는 운영 매개변수를 조정하여 에이전트가 경험하는 전이 동역학과 비용을 형성할 수 있다. 이는 정책과 환경 설계 매개변수를 동시에 최적화하도록 동기를 부여한다. 이를 위해 우리는 환경 매개변수 그래디언트 정리(Environment Parameter Gradient Theorem)를 확립한다 — 이는 가치 함수의 환경 매개변수에 대한 그래디언트의 형식적 표현이다. 핵심 이론적 장치는 일반화된 행동-가치 함수 $Q_{π,ξ}(s,a,ζ)$이며, 이는 환경 매개변수의 두 복사본으로 구성된다: $ζ$는 현재 상태-행동 쌍에서의 비용과 전이 동역학을, $ξ$는 미래 롤아웃(rollout)을 지배한다. 이러한 분리(decoupling)는 처리 가능한 폐형식 그래디언트 표현을 산출하며, 정리의 유도에 필수적이다. 이 결과를 바탕으로, 최적 정책과 환경 매개변수를 동시에 학습하는 모델-프리(model-free) 알고리즘을 개발한다. UAV 네트워크 설계 문제에서 프레임워크의 효과를 보여주며, 최적 UAV 배치(환경 매개변수)와 통신 경로(정책에 의해 결정됨)를 공동으로 학습하여 네트워크의 총 통신 비용을 최소화한다.

arXiv:2607.11005v1math.OC

결정론적 정책을 이용한 확장 평균장 제어를 위한 액터-크리틱 학습

Actor-Critic Learning for Extended Mean Field Control with Deterministic Policies

본 논문은 연속시간 확장 평균장 제어 문제를 위한 모델 프리(model-free) 강화학습(reinforcement learning) 프레임워크를 개발한다. 이 문제에서는 동역학과 보상(reward) 모두 상태와 제어의 결합 분포에 의존할 수 있다. 우리는 결정론적 피드백 정책을 채택하며, 이 정책 하에서 상태-행동 분포는 상태 분포의 푸시포워드(push-forward)로 직접 유도된다. 이를 통해 확률적 커널에 대한 최적화를 피하고, 확장 평균장 설정에서 기존 접근법의 핵심 한계를 우회한다. 먼저 매개변수화된(parameterized) McKean-Vlasov 동역학에 대한 모델 프리 감도 공식을 수립하고, 이를 활용하여 Wasserstein 공간 위의 어드밴티지-레이트 함수(advantage-rate function)를 통해 표현되는 결정론적 정책 그래디언트(policy gradient) 공식을 도출한다. 이어서 상태, 행동, 결합 상태-행동 분포에 의존하는 국소 가치 및 어드밴티지-레이트 표현을 도입하여 이 공식을 정제하며, 행동 도함수(derivative)와 제어 분포에 대한 측도 도함수 항을 모두 포함하는 정책 그래디언트를 산출한다. 이러한 특성화는 마팅게일 기반 학습 원리로 이어지며, 입자 근사(particle approximation), 측도 의존 신경망, 시간차 학습(temporal-difference learning), 행동 또는 매개변수 공간에서의 탐험(exploration)을 결합한 연속시간 심층 결정론적 정책 그래디언트 알고리즘을 동기부여한다. 확률적 Cucker-Smale 합의 제어 및 거래 집중을 수반하는 최적 청산 문제에 대한 수치 실험을 통해, 제어 분포에 대한 명시적 의존성을 포함하는 문제에서 제안된 방법의 효율성, 안정성, 강건성을 입증한다.

arXiv:2607.11146v1cs.LG

Rank-Conditioned Sample Reuse for the Plackett--Luce Best-of-$K$ Objective

We study the coupled objective J_K^WOR = E_{S ~ PL-WOR_K}[max_{i in S} R_i]: the expected maximum reward of a size-K Plackett-Luce draw without replacement, the law of Gumbel-Top-K / Stochastic Beam Search decoding. This estimand differs from the conventional i.i.d. objective J_K^iid = E[max_{i<=K} R_i] targeted by existing sample-reuse Max@K estimators, and reusing their i.i.d. weights under the coupled sampler is provably biased (a closed-form three-item instance gives E[g_iid] = (4/5) grad J_K^WOR exactly; pass@K under the coupled sampler is the binary-reward special case). Generic joint-score REINFORCE is already unbiased for J_K^WOR; what it lacks is sample reuse. Our contribution is to instantiate standard rank-conditioned Horvitz-Thompson estimation for the J_K^WOR subset total: from one Gumbel-Top-n pool (n>K) and its observed priority threshold we build an estimator that reuses all C(n,K) embedded K-subsets, unbiased with an unbiased exact score-function surrogate gradient, plus a reward-sorted Max-specific dynamic program that collapses the C(n,K)-term subset sum (with K!-cost set probabilities) exactly to a one-dimensional integral. A fixed-Q quadrature evaluation costs O(n log n + nKQ) arithmetic and is numerically, not algebraically, exact; no epsilon-approximation rate is certified. Each nonzero degree-K Horvitz-Thompson term has finite second moment exactly when n >= 2K; under the same assumptions the full surrogate gradient has finite second moment whenever n >= 2K (sharpness there is open). At K=1 the construction recovers classical priority sampling. All quantities require only the values and differentiable computation graphs of the n+1 drawn items' probabilities, so finite structured sequence policies sampled by exact SBS are covered. A certified finite-Q quadrature bound and countably infinite support remain open. Validation code is included as ancillary files.

arXiv:2607.10848v1cs.LG

Predictive Divergence Masks for LLM RL

Reinforcement learning for large language models (LLMs) typically relies on trust-region masks to stabilize off-policy updates. The dominant PPO-style approach uses the sampled-token importance ratio for two criteria: a proximity criterion, which asks whether the policy has moved too far from the behavior policy, and a direction criterion, which asks whether the update pushes it farther away. Recent work DPPO improves the proximity criterion by replacing PPO's ratio-based test with a probability divergence between the behavior and training policies. However, its direction criterion is still inherited from PPO. A token can be masked only when the sampled-token importance ratio moves away from one. We observe that this ratio-based direction criterion is a single-sample proxy that can disagree in sign with the change of the divergence that defines the proximity criterion. We therefore propose the predictive divergence mask, which asks whether the next policy-gradient step will increase or decrease the same divergence used by the trust region. For the discrete softmax policies used in LLM RL, we derive this prediction in closed form. Because production rollout engines expose only a truncated (top-K) view of the vocabulary, we develop two lightweight top-$K$ estimators for this prediction. Detailed analysis shows the divergence-based direction is better aligned with the realized change of the divergence than the sampled ratio, and the resulting masks improve RL training across model scales and precision settings.

arXiv:2607.08925v1cs.LG

SafeExplorer: 복구 개입이 있는 강화학습을 위한 비편향 정책 그래디언트

SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions

물리적 로봇에서 직접 강화학습 에이전트를 학습시키면 모든 낙하 사고가 큰 비용을 초래한다. 낙하는 플랫폼에 손상을 줄 수 있으며 시뮬레이터 리셋처럼 되돌릴 수 없기 때문이다. 따라서 제약 마르코프 결정 과정(MDP) 공식화에서처럼 낙하를 보상과 트레이드오프하는 것이 아니라, 학습 중 낙하를 최소화하는 것이 목표다. 표준적인 완화 방법은 에이전트가 설계자가 지정한 안전 영역(에이전트가 머물러야 하는 상태 공간의 부분 집합)을 벗어날 때마다 별도의 복구 정책에 제어권을 넘긴다. 그러나 이로 인해 생성된 혼합 정책 롤아웃은 모든 온-정책 업데이트에 암묵적으로 바이어스를 도입하며, 이 바이어스를 제거할 중요도 샘플링(importance sampling) 보정은 복구 정책이 결정론적일 때 정의되지 않는다. 우리는 근위 정책 최적화(PPO, proximal policy optimization)의 드롭인 수정을 통해 이 바이어스를 해결한다. 핵심은 안전한 타임스텝에서만 점수 함수(score function)를 사용하고 복구 정책의 밀도를 평가하지 않는 비편향 정책 그래디언트 추정기로, 이는 중요도 샘플링이 실패하는 바로 그 지점인 복구 정책이 결정론적인 경우에도 유효하며, 복구 정책이 확률론적인 경우에도 중요도 샘플링보다 경험적으로 우수한 성능을 보인다. 복구 정책은 여전히 안전 영역 경계 근처에서 크레딧 할당(credit assignment)을 느리게 만들기 때문에, 학습을 가속화하는 두 가지 추가 구성 요소를 도입한다: 동역학과 복구가 결정론적일 때 복구를 유발하는 상태에 대한 닫힌 형태의 가치 함수, 그리고 복구가 성공할 때만 복구 행동을 모방하는 모방 손실(imitation loss)이다. 세 가지 환경, 다섯 가지 시드 벤치마크에서, 제안된 알고리즘은 HalfCheetah, Ant, Unitree Go1에서 표준 PPO 대비 학습 시간 낙하 횟수를 각각 233배, 48배, 26배 감소시키면서 PPO의 최종 보상을 달성하거나 초과한다. 또한 복구 정책이 신뢰할 수 없는 Ant 환경에서는 최고 최종 보상의 80%에 도달하는 유일한 방법이다.

arXiv:2607.01490v1cs.LG

Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

LLM 강화학습 사후학습에서 다양한 어드밴티지 함수들을 양성·음성 그래디언트 질량(gradient mass)과 난이도 축으로 분해하는 통합 프레임워크를 제시하며, 부호 불균형이 엔트로피 붕괴나 rank-1 업데이트 붕괴를 유발함을 밝힌다. 이를 바탕으로 학습 동역학을 실시간으로 읽어 그래디언트 가중치를 자동 조정하는 FADE(Focal Advantage with Dynamic Entropy)를 제안하여, 7B·32B 규모 모두에서 LiveCodeBench와 AIME의 pass@k 전반에 걸쳐 정확도-다양성 트레이드오프를 개선하고 최적 성능 도달 속도를 기존 정적 베이스라인 대비 최대 20,000 스텝 앞당겼다.

arXiv:2606.29238v1cs.LG

그룹 상대적 정책 최적화의 정책 그래디언트 이론적 기반에 관하여: 크레딧 할당, 그래디언트 희소성, 그리고 랭크 붕괴

On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse

GRPO가 출력 전용 보상(output-only reward) 환경에서 롤아웃 내 모든 토큰에 동일한 어드밴티지를 할당하는 근본적인 크레딧 할당 실패를 정책 그래디언트 정리로부터 엄밀히 유도하며, Nemotron-4B/GSM8K에 대한 SVD 분석을 통해 그래디언트 행렬의 유효 랭크가 그룹 크기와 무관하게 ≈ 2로 붕괴됨을 이론적·실험적으로 증명한다. 이 내재적 랭크-2 구조는 어드밴티지의 제로섬 제약에서 비롯되며, 다단계 추론에서 GRPO의 핵심 한계로서 크레딧 할당 병목을 식별한다.

arXiv:2512.23075v5cs.LG

장기 지평 LLM 강화학습을 위한 신뢰 영역 마스킹

Trust Region Masking for Long-Horizon LLM Reinforcement Learning

LLM 강화학습에서 정책 그래디언트의 대리 목적함수 근사 오차 상한이 시퀀스 길이 $T$에 대해 $O(T^2)$로 증가해 장기 지평 과제에서 이론적 보장이 무의미해지는 문제를 분석하고, KL·TV 기반 개선 상한(Pinsker-Marginal $O(T^{3/2})$, Mixed $O(T)$, Adaptive)을 도출한다. 이를 바탕으로 신뢰 영역을 위반하는 시퀀스 전체를 마스킹하는 Trust Region Masking(TRM)을 제안하여 장기 지평 LLM-RL에서 최초의 비공허(non-vacuous) 단조 개선 보장을 달성하고 수학적 추론 벤치마크에서 학습 안정성을 실증한다.

arXiv:2606.26498v1math.OC

평균장 PhiBE: 이산시간 데이터로부터의 연속시간 평균장 강화학습

Mean-Field PhiBE: Continuous-Time Mean-Field Reinforcement Learning from Discrete-Time Data

이산시간 전이 데이터만으로 알 수 없는 McKean-Vlasov 동역학 하에서 연속시간 평균장 제어를 다루기 위해, 와서스타인 공간 위 연속시간 편미분방정식에 단일 스텝 추정기를 넣은 MF-PhiBE를 제안하고 엔트로피 정규화 정책의 정책 그래디언트 정리와 결합해 모델 프리(model-free) 액터-크리틱(actor-critic) 방법을 만든다. 최적 MF-PhiBE 정책의 가치가 연속시간 최적 가치를 Δt 차수 오차로 근사함을 증명했고, 선형-이차(LQR) 경우에는 단일 스텝 데이터로 2차 정확도를 달성하며 LQR 벤치마크와 군중 기피 문제에서 수치적으로 검증했다.