PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10481v2cs.LG

ARMOR: 오프-정책 앵커 샘플로 온-정책 LLM 강화학습 안정화

ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰지만, 학습 과정은 여전히 불안정하기로 악명 높다. 본 연구에서는 이러한 불안정성의 핵심 원인인 과최적화(over-optimization)를 규명한다. 과최적화란 모델이 일반화 가능한 추론을 희생하면서 학습 휴리스틱을 악용하는 현상이다. 역방향 KL 정규화가 이러한 성능 저하에 대한 표준적인 방어 수단이지만, 우리의 분석에 따르면 이 방법은 참조 분포의 포괄적인 커버리지를 보장하지 못하기 때문에 이 영역에서 불충분한 경우가 많다. 이를 해결하기 위해 우리는 ARMOR(Anchor Rollout and Mixed Optimization for RL)를 제안한다. 이는 수동적 페널티 패러다임에서 능동적 샘플 안정화 패러다임으로 전환하는 프레임워크다. ARMOR는 두 가지 핵심 구성 요소로 이루어진다: (1) 앵커 롤아웃(Anchor Rollout)으로, 참조 정책의 오프-정책 데이터를 활용하여 확립된 솔루션 패턴을 보존하고, (2) 혼합 최적화(Mixed Optimization)로, 보조 손실에 의존하지 않고 제어된 탐험이 가능하도록 정책 목적함수를 재정식화한다. 추론 벤치마크에서 수행한 광범위한 실험을 통해 ARMOR가 검증 붕괴(validation collapse)를 효과적으로 완화하여 장기 학습 구간에 걸쳐 지속적인 성능 향상을 가능하게 함을 검증하였다.

arXiv:2606.11431v1cs.LG

유클리드 안정성을 넘어선 미러 디센트(Mirror Descent): 초기화 민감도에서의 지수적 격차

Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity

미러 디센트(MD)는 경사하강법(GD)을 유클리드 기하학 너머로 확장하며, 최근 강화학습 및 대규모 언어 모델(LLM) 사후학습에서 KL 정규화된 정책 최적화를 위한 관점으로 재조명되었습니다. 이는 재현성과 신뢰성에 필수적인 기본적인 견고성 질문을 제기합니다: MD 동역학은 입력에 얼마나 민감한가? 우리는 종종 사전학습되거나 이전에 정렬된 모델 그 자체인 초기화에 초점을 맞춥니다. GD와 마할라노비스 기하학을 포함한 이차 정규화된 MD는 볼록하고 매끄러운 목적 함수에 대해 안정적인 것으로 잘 알려져 있습니다. 우리는 뚜렷한 대조를 보여줍니다: 정규화기가 비이차적이 되면, 유클리드 노름으로 잘 조건화된 정규화기가 있더라도 MD는 GD보다 초기화에 대해 지수적으로 더 민감할 수 있습니다. 우리는 볼록하고 매끄러운 목적 함수와 강하게 볼록하고 매끄러우며 잘 조건화된 정규화기를 갖는 3차원 구성을 제시합니다. 여기서 스텝 사이즈 $\eta$를 갖는 MD의 $T$번 반복 후 초기 $\varepsilon$ 섭동은 $\min\{\text{polylog}^{-1}(1/\varepsilon), \varepsilon e^{\Omega(\eta T)}\}$로 빠르게 증폭됩니다. 심플렉스 상의 표준적인 KL 정규화된 MD의 경우, 고차원이거나 경계 근처 영역에서 선형 목적 함수조차도 초기 $\varepsilon$ 섭동을 지수적으로 빠르게 증폭할 수 있음을 보여줍니다. 마지막으로, 앵커 포인트(anchor point)를 향한 브레그만 정규화 항을 추가하면 최적화 보장을 대부분 유지하면서 동역학을 안정화할 수 있음을 보여줍니다. 또한 앵커의 선택이 중요하다는 점을 보여줍니다: 초기화에 앵커링하는 것은 불안정성을 부분적으로만 완화하는 반면, 고정점에 앵커링하는 것은 더 안정적인 메커니즘을 제공합니다.