비동기 강화학습은 롤아웃 생성과 최적화를 분리함으로써 처리량을 높이지만, 그로 인한 낡음(staleness)은 피할 수 없는 부산물이며, 정책 지연, 엔진 지연, 전문가 혼합(MoE) 라우팅이 복합적으로 이를 악화시킨다. 신뢰 영역(trust region) 관점에서 이러한 불일치는 중요하다. 유한 수평선 개선 상한(finite-horizon improvement bound)에서 학습-추론 발산(training-inference divergence)이 근사 오차를 지배하는 반면, PPO 클리핑은 샘플링된 외향(outward) 업데이트만 게이트하므로 전체 정책 제약이 아니라 샘플링된 대리(surrogate)로 작용한다. 그 결과, 높은 낡음 업데이트는 낡은 롤아웃이 가장 중요한 바로 그 비동기 체제에서 약하게 제어된 채 남을 수 있다. 우리는 분리된(detached) 샘플링 log-ratio를 실용적인 낡음 프록시로 사용하고, 낡음 기반 커널 함수 스케일링을 통해 각 배치 내 고불일치(high-mismatch) 꼬리를 식별하며, Effective contraction factors를 사용해 명목 PPO 구간의 부호 선택(sign-selected) 끝점만 수축(contract)하는 Staleness-Adaptive Trust Region(SAT)을 제안한다. 이 설계는 일반 토큰에서 기준선 동작을 보존하면서, 새로 가로챈(intercepted) 외향 밴드에서만 업데이트를 더 보수적으로 만든다. 우리는 Qwen3-30B-A3B-Base 기반의 완전 분리형 비동기 강화학습 설정에서 SAT를 평가하며, SGLang을 추론 엔진으로, Megatron을 학습 파이프라인으로 활용한다. 이 설정에서 SAT-GSPO w/ R3는 관측된 최고 AIME24 avg@8을 달성하여 lag 1에서 35.83, lag 8에서 34.79에 도달했으며, SAT-GSPO는 lag 1에서 34.17에 도달한다. 더 넓게 보면, 결과는 클립 구간을 관측된 낡음 이질성(staleness heterogeneity)에 맞추는 것이 보고된 비동기 체제를 안정화하는 효과적인 방법임을 보여준다.
Reinforcement learning for large language models (LLMs) typically relies on trust-region masks to stabilize off-policy updates. The dominant PPO-style approach uses the sampled-token importance ratio for two criteria: a proximity criterion, which asks whether the policy has moved too far from the behavior policy, and a direction criterion, which asks whether the update pushes it farther away. Recent work DPPO improves the proximity criterion by replacing PPO's ratio-based test with a probability divergence between the behavior and training policies. However, its direction criterion is still inherited from PPO. A token can be masked only when the sampled-token importance ratio moves away from one. We observe that this ratio-based direction criterion is a single-sample proxy that can disagree in sign with the change of the divergence that defines the proximity criterion. We therefore propose the predictive divergence mask, which asks whether the next policy-gradient step will increase or decrease the same divergence used by the trust region. For the discrete softmax policies used in LLM RL, we derive this prediction in closed form. Because production rollout engines expose only a truncated (top-K) view of the vocabulary, we develop two lightweight top-$K$ estimators for this prediction. Detailed analysis shows the divergence-based direction is better aligned with the realized change of the divergence than the sampled ratio, and the resulting masks improve RL training across model scales and precision settings.
온-정책 증류(OPD)의 불안정한 최적화 문제를 해결하기 위해, TOP-D는 교사 정책과 학생 정책의 확률 분포를 보간하여 근접 교사(proximal teacher)를 동적으로 구성함으로써 그래디언트 분산을 이론적으로 제어하는 안정적인 지식 증류(distillation) 패러다임을 제안한다. AIME24 벤치마크에서 표준 OPD 대비 avg@32 정확도를 25.84% 절대적으로 향상시키면서도 추가적인 계산 오버헤드 없이 플러그 앤 플레이 방식으로 적용 가능하다.
고차원 불확실성 하에서 범주형 구조 최적화 시 기존 방법의 연속 완화(continuous relaxation) 및 반올림 오류 문제를 해결하기 위해, COBALT 프레임워크는 물리적 카탈로그를 저차원 잠재 공간에 이산 앵커 그래프로 고정하고 SAAS-GP 대리 모델과 신뢰 영역 기반 이산 그래프 탐색을 결합하여 항상 유효한 카탈로그 설계만을 평가한다. 복잡한 보(beam) 구조의 강건 설계 최적화 실험에서 COBALT는 완화 기반 및 비대리 탐색 전략 대비 우수한 효율을 보임을 수치 예제를 통해 입증한다.
LLM 강화학습에서 정책 그래디언트의 대리 목적함수 근사 오차 상한이 시퀀스 길이 $T$에 대해 $O(T^2)$로 증가해 장기 지평 과제에서 이론적 보장이 무의미해지는 문제를 분석하고, KL·TV 기반 개선 상한(Pinsker-Marginal $O(T^{3/2})$, Mixed $O(T)$, Adaptive)을 도출한다. 이를 바탕으로 신뢰 영역을 위반하는 시퀀스 전체를 마스킹하는 Trust Region Masking(TRM)을 제안하여 장기 지평 LLM-RL에서 최초의 비공허(non-vacuous) 단조 개선 보장을 달성하고 수학적 추론 벤치마크에서 학습 안정성을 실증한다.
협력형 다중 에이전트 강화학습(MARL)에서 독립 액터의 순차 정책 업데이트마다 공동 advantage를 중요도 샘플링(importance sampling)으로 재추정할 때 분산이 지수적으로 커져 수렴이 불안정해지는 문제를 이론·실험으로 분석하고, advantage 변동 상한을 제어하는 클리핑 목적함수와 clip-HAPPO·clip-HATRPO를 제안한다. ε-Nash 균형에 대한 단조 개선과 sub-linear 수렴을 보장하며, 세 가지 MARL 벤치마크에서 낮은 advantage 분산과 안정적 학습을 통해 대부분 환경에서 베이스라인을 능가했다.
교사·학생 분포가 크게 어긋날 때 온-정책 증류(OPD)가 불안정해지는 문제를 완화하기 위해, 신뢰 가능한 감독 영역에서만 OPD를 수행하고 아웃라이어 토큰은 마스킹·클리핑·순방향 KL로 처리하며 교사 접두 기반 오프-정책 가이던스를 결합한 TrOPD(Trust Region On-Policy Distillation)를 제안한다. 수학적 추론, 코드 생성, 일반 도메인 벤치마크에서 OPD, EOPD, REOPOLD 등 기존 OPD 베이스라인을 일관되게 능가한다.