한국어 초록
우리는 단일 스트림 관점에서 대규모 언어 모델(LLM)의 정책 경량화 최적화를 재조명합니다. GRPO와 같은 기존의 그룹 기반 방법은 즉석 기준선을 통해 분산을 줄이지만, 빈번한 퇴화 그룹이 학습 신호를 지우고 동기화 장벽이 확장성을 저해하는 심각한 결함이 있습니다. 우리는 이러한 문제를 설계적으로 제거하는 단일 스트림 정책 최적화(SPO)를 소개합니다. SPO는 그룹별 기준선을 지속적인 KL 적응 값 추적기로 대체하고 배치 전반에 걸쳐 이점을 정규화하여 모든 샘플에 대해 안정적이고 낮은 분산의 학습 신호를 제공합니다. 그룹이 없는 SPO는 더 높은 처리량을 가능하게 하고 생성 시간이 다양한 장기적 또는 도구 통합 환경에서 효과적으로 확장됩니다. 또한, 지속적인 값 추적기는 우선 샘플링을 통해 자연스럽게 적응형 커리큘럼을 가능하게 합니다. Qwen3-8B를 사용한 실험 결과, SPO는 GRPO보다 더 부드럽게 수렴하고 더 높은 정확도를 달성하며, 퇴화 그룹에 낭비되는 계산을 없앱니다. 제거 연구는 SPO의 이점이 기준선 추정 및 이점 정규화에 대한 원칙적인 접근에서 비롯된다는 것을 확인하며, LLM 추론을 위한 보다 강력하고 효율적인 경로를 제공합니다. Qwen3 8B로 다섯 개의 어려운 수학 벤치마크에서 SPO는 GRPO에 비해 평균 maj@32를 +3.4 퍼센트 포인트(pp) 향상시켰으며, BRUMO 25에서 +7.3 pp, AIME 25에서 +4.4 pp, HMMT 25에서 +3.3 pp와 같은 도전적인 데이터셋에서 상당한 절대 포인트 향상을 이끌어냈고, 평가된 $k$ 값 전반에 걸쳐 pass@$k$에서 일관된 상대적 이득을 달성했습니다. SPO의 성공은 RL 알고리즘에 우발적인 복잡성을 추가하는 기존 경향에 도전하며, 근본적인 원칙이 LLM 추론의 다음 진전을 이끄는 경로를 강조합니다.
요약
Single-stream Policy Optimization (SPO)은 대규모 언어 모델(LLM)의 정책 경량화 최적화를 위한 혁신적인 접근법으로, 기존의 그룹 기반 방법인 GRPO의 한계를 극복하는 데 중점을 두고 설계되었습니다. GRPO는 즉석 기준을 통해 분산을 줄이는 데 기여하지만, 빈번한 퇴화 그룹과 동기화 장벽으로 인해 학습 신호가 손실되고 확장성이 저해되는 문제를 안고 있습니다. SPO는 이러한 문제를 해결하기 위해 각 샘플에 대해 안정적이고 낮은 분산의 학습 신호를 제공하는 지속적인 KL-적응형 가치 추적기를 도입합니다. 이를 통해 그룹 없이도 높은 처리량을 유지하며, 긴 수명 또는 도구 통합 환경에서 효과적으로 확장할 수 있습니다. SPO의 핵심 원리는 이점 정규화에 있습니다. 기존의 그룹 내 정규화 방식 대신, SPO는 전체 배치에 걸쳐 이점을 정규화하여 각 샘플의 응답 시퀀스에 적용합니다. 이 과정은 정책의 안정성을 보장하고, 다양한 정책 손실 함수를 통해 정책 매개변수를 업데이트하는 데 기여합니다. 특히, SPO는 "기준 없음"의 경우에도 유효하게 작동하며, 높은 정책 경량화 분산 문제를 해결하는 데 중점을 둡니다. 실험 결과, SPO는 Qwen3-8B 모델을 사용하여 GRPO보다 더 매끄럽게 수렴하고 높은 정확도를 달성하며, 퇴화 그룹에서 낭비되는 계산을 제거하는 성과를 보였습니다. 다섯 가지 어려운 수학 벤치마크에서 SPO는 평균 maj@32를 +3.4 퍼센트 포인트 향상시키며, 특정 데이터셋에서는 +7.3 pp, +4.4 pp, +3.3 pp의 절대 점수 향상을 이끌어냈습니다. 이러한 결과는 SPO의 접근 방식이 LLM 추론에 있어 보다 강력하고 효율적인 경로를 제공함을 시사합니다. SPO는 기존의 복잡성을 추가하는 경향에 도전하며, 기본 원칙에 기반한 접근이 LLM 추론의 다음 진전을 이끄는 길임을 강조합니다. 이 연구는 LLM의 정책 최적화에서 새로운 가능성을 제시하며, 향후 연구 방향에 대한 중요한 통찰력을 제공합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.