선형 함수 근사를 적용한 소프트맥스 정책 그래디언트의 전역 수렴에 대한 재고: 다중 팔 밴딧 문제를 중심으로
Rethinking the Global Convergence of Softmax Policy Gradient with Linear Function Approximation: The Case of Multi-Armed Bandits
한국어 초록
정책 그래디언트(Policy Gradient, PG) 방법론은 강화학습(RL)의 실증적 성공에서 필수적인 역할을 해왔습니다. 대규모 상태-행동 공간을 다루기 위해 PG 방법론은 일반적으로 함수 근사(function approximation)와 함께 사용됩니다. 이러한 설정에서 문제 의존적 양을 모델링할 때 발생하는 근사 오차(approximation error)는 PG 방법론의 전역 수렴(global convergence)을 규명하는 핵심 개념입니다. 본 논문에서는 선형 함수 근사를 적용한 소프트맥스 PG($\texttt{Lin-SPG}$)를 연구하며, 밴딧(bandit) 설정에서조차 근사 오차가 알고리즘의 전역 수렴과 무관함을 입증합니다. 이에 따라 표준 확률적 다중 팔 밴딧(stochastic multi-armed bandit) 문제에서 근사 오차가 미치는 영향을 재고합니다. 먼저 $\texttt{Lin-SPG}$의 점근적 전역 수렴을 보장할 수 있는 정책 특징 표현(policy feature representation)에 대한 조건을 규명합니다. 이러한 특징 조건 하에서, 문제별 특정 학습률(learning rate)을 적용한 $\texttt{Lin-SPG}$의 $T$회 반복이 최적 정책으로의 $O(1/T)$ 수렴을 가져옴을 추가로 증명합니다. 나아가 임의의 상수 학습률을 적용한 $\texttt{Lin-SPG}$ 역시 최적 정책으로의 점근적 수렴을 보장할 수 있음을 증명합니다.
원문 초록
Policy gradient (PG) methods have played an essential role in the empirical successes of reinforcement learning. In order to handle large state-action spaces, PG methods are typically used with function approximation. In this setting, the approximation error in modeling problem-dependent quantities is a key notion for characterizing the global convergence of PG methods. We study Softmax PG with linear function approximation (referred to as $\texttt{Lin-SPG}$) and demonstrate that the approximation error is irrelevant to the algorithm's global convergence even in the bandit setting. Consequently, we rethink the effect of approximation error in the standard stochastic multi-armed bandit problem. We first identify the conditions on the policy feature representation that can guarantee the asymptotic global convergence of $\texttt{Lin-SPG}$. Under these feature conditions, we further prove that $T$ iterations of $\texttt{Lin-SPG}$ with a problem-specific learning rate result in an $O(1/T)$ convergence to the optimal policy. Moreover, we prove that $\texttt{Lin-SPG}$ with an arbitrary constant learning rate can ensure asymptotic convergence to the optimal policy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FSPO: 예산 제약 기반 LLM 강화학습 사후 학습을 위한 정책 일관적 위험 및 파레토 실행 가능 제어
FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training
적응형 대규모 언어 모델(LLM) 강화학습(RL) 사후 학습은 롤아웃(rollout) 온도, 그룹 크기, 클리핑, KL 정규화(regularization), 검증기(verifier) 할당, 업데이트 예산 등 여러 학습 제어 요소를 온라인으로 변경합니다. 그러나 세 가지 결합된 문제가 여전히 해결되지 않은 상태로 남아 있습니다. 행동 궤적(behavior trajectories)으로 학습된 미래 위험 모델은 실제로 배포될 제어기(controller)가 유발하는 위험을 정확히 추정하지 못할 수 있고, 기록된 상태-행동 쌍에서 보정(calibrated)된 점수는 선택적 행동 결정 후 보정 오차가 발생할 수 있으며, 자원별 독립적인 최소 비용만으로는 일반적으로 다중 자원에 걸친 실행 가능한 지속 경로를 보장하지 못합니다. 본 논문에서는 이러한 문제들을 종합적으로 해결하는 예산 제약 기반 LLM RL 사후 학습용 피드백 상태 제어기인 FSPO를 제안합니다. FSPO는 향후 결정에 사용되는 동일한 동결 제어기를 벨만 타깃(Bellman target)으로 따르는 정책 일관적(policy-consistent) 잔여 위험(risk-to-go) 모델을 장기 효용 모델과 함께 학습합니다. 또한 결정 조건부 궤적 보정(DCTC)은 임시 제어기가 선택한 행동으로 생성된 교차 적합(cross-fitted) 궤적에서 위험을 보정합니다. 파레토 자원 지속 보증(PRCC)은 잔여 구간(horizon) 동안 비지배(non-dominated) 누적 예약이 실행 가능할 때만 행동을 허용합니다. 동일한 GRPO 자원 범위 조건에서 FSPO는 66.11%의 홀드아웃(held-out) 정확도와 59.43%의 OOD(분포 외) 정확도를 달성하여, 평가된 가장 강력한 적응형 기준선(baseline)인 PB2의 64.47% 및 57.03%를 능가했습니다. 3개의 쌍체 학습 시드(paired training seeds) 기준 홀드아웃 및 OOD 평가에서 문맥 밴딧(contextual bandit) 대비 각각 +2.42 및 +3.19%p 향상되었습니다. 행동-배포 간 불일치가 큰 조건에서 정책 일관적 위험은 선택 결정 ECE를 0.108에서 0.053으로 낮췄고, DCTC는 동일 수락률 조건에서 이를 0.039에서 0.022로 낮췄으며, PRCC는 18개 행동 카탈로그에서 거짓 실행 가능 허용을 완전히 제거했습니다($0.197\rightarrow0.000$). 요인 제거 분석(factorial ablation)에서 세 요소를 모두 활성화했을 때 궤적 실패율은 0.181에서 0.083으로 감소했습니다.
GRPO에 정규화가 필요한 이유: 적응형 그래디언트에 대한 국소 곡률 관점
Why GRPO Needs Normalization: A Local-Curvature Perspective on Adaptive Gradients
강화학습(RL)은 언어 모델 추론의 핵심 동력이 되었습니다. 여러 RL 알고리즘 중 그룹 상대 정책 최적화(GRPO)는 프롬프트별 베이스라인과 분산 정규화를 사용하여 크리틱(critic)의 필요성을 없앰으로써 사실상의 표준으로 자리 잡았습니다. 그러나 이러한 정규화가 왜, 그리고 언제 도움이 되는지는 여전히 불분명합니다. 본 연구에서는 시퀀스 수준 정책 그래디언트의 국소 곡률(local curvature) 관점을 통해 두 질문에 모두 답하며, 표준편차 정규화가 적응형 그래디언트(adaptive gradient)를 구현함을 보입니다. 이론적으로, 완만한 조건 하에서 GRPO가 정규화되지 않은 REINFORCE 대비 향상된 수렴 속도를 달성함을 증명하며, 이때의 이득은 프롬프트 및 반복 전반에 걸친 평균 프롬프트 내 보상 표준편차로 특징지어집니다. 나아가 기대 업데이트가 전체 그래디언트와 일치하도록 유지되는 GRPO의 중요도 샘플링(importance sampling) 변형인 IS-GRPO를 도입하고, REINFORCE와 동일한 형태의 수렴 보장을 증명합니다. 이는 실제 학습 과정에서 측정 가능한 배수만큼 실제로 더 긴밀(tight)합니다. 실증적으로는 GSM8K 및 MATH에서 곡률과 분산 간의 연결고리를 검증하고, 실제 학습 과정에서 이론적 한계를 결정짓는 값들을 측정합니다. 1.5B 규모에서는 프롬프트별 정규화가 정규화되지 않은 베이스라인과 전역적으로 정규화된 베이스라인 모두를 능가하며, 이러한 이득은 프롬프트별 분산이 이질적으로 변하는 학습 중간 단계에서 나타납니다. 7B 규모에서는 정규화 방식 간의 통계적 차이가 사라지지만 IS-GRPO가 소폭의 우위를 유지하며, 이는 이득을 얻기 위해 이질성이 필요하다는 이론적 예측과 일치합니다.
문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습
Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits
문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.
임상 정신건강 치료와 일상적 웰니스 지원 간의 유동적 전환을 위한 강화학습 탐구
Exploring Reinforcement Learning for Fluid Transitions Between Clinical Mental Healthcare and Everyday Wellness Support
정신건강 문제는 악화와 호전을 반복하지만, 임상 및 웰니스 개입은 대개 별도로 운영되어 치료 전환 시점에서 잦은 단절이 발생한다. 우리는 강화학습(RL)을 활용하여 일관된 치료 여정의 일환으로 임상 및 웰니스 개입을 선제적으로 제공하는 디지털 헬스 시스템 구축 방안을 탐구한다. 이러한 시스템을 설계하는 데 어떤 복잡성이 수반되는가? 우리는 상황 기반 밴딧(contextual bandit)을 구축하여 전반적인 건강 목표(지속적인 저널링)를 최적화하기 위해 임상 및 웰니스 레퍼토리에서 저널링 프롬프트를 동적으로 선택하도록 하고, 이를 4주간의 탐색적 연구(N=38)에서 배포하였다. 그 결과, 첫째, RL로 최적화된 개입 시퀀스의 많은 이점이 개입 종료 후에야 나타났으며, 이는 다음의 질문을 제기한다: 임상-웰니스 통합 치료 여정을 제공하는 시스템은 개입을 일시적으로 줄이는 '후퇴 기간'을 포함해야 하는가? 포함한다면, 언제, 어떻게 해야 하는가? 둘째, RL이 생성한 개입에 가장 많이 참여한 참가자들은 시간이 지남에 따라 참여도가 심화된 반면, 고정된 개입에 가장 많이 참여한 참가자들은 이후 번아웃되어 탈락하는 경향을 보였다. 이는 다음의 질문을 제기한다: 임상 및 웰니스 개입을 혼합하는 시스템은 번아웃 방지를 위해 개입 강도를 언제 줄여야 하며, 치료 효과를 극대화하기 위해 언제 유지해야 하는가?
TreeLoRA: 계층적 그래디언트 유사도 트리 기반 층별 LoRA를 활용한 효율적 지속 학습
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
많은 실세계 응용에서는 데이터를 스트리밍 환경에서 수집하며, 학습 태스크가 순차적으로 등장한다. 이는 모델을 온라인으로 갱신하는 지속 학습(CL)을 필요로 하며, 새로운 태스크에 적응하면서 과거 지식을 보존하여 치명적 망각을 방지한다. 최근 대규모 사전학습 모델(LPM)의 성장과 함께, 상당한 계산 요구와 증가하는 매개변수 규모로 인해 CL에서 효율성이 점점 더 중요해졌다. 본 논문에서는 TreeLoRA(K-D Tree of Low-Rank Adapters)를 제안한다. 이는 계층적 그래디언트 유사도를 활용하여 층별 어댑터를 구성하고, 특히 LPM을 위한 효율적인 CL을 가능하게 하는 새로운 접근법이다. 태스크 유사도 추정의 계산 부담을 줄이기 위해, 밴딧(bandit) 기법을 사용하여 하한 신뢰 구간(lower confidence bounds)에 기반한 알고리즘을 개발하고 태스크 구조를 효율적으로 탐색한다. 또한 희소 그래디언트 업데이트를 사용하여 매개변수 최적화를 촉진하고, 이 접근법을 LPM에 더 적합하게 만든다. 접근법의 근거를 정당화하는 이론적 분석을 제공하며, 비전 트랜스포머(ViT)와 대규모 언어 모델(LLM) 모두에 대한 실험을 통해 비전 및 자연어 처리(NLP) 태스크를 포함한 다양한 도메인에서 본 접근법의 효과와 효율성을 입증한다.
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
88 pages