RL-STaR: Self-Taught Reasoner를 위한 강화학습 프레임워크의 이론적 분석
RL-STaR: Theoretical Analysis of Reinforcement Learning Frameworks for Self-Taught Reasoner
대규모 언어 모델(LLM)의 추론 능력은 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅으로 향상되어, 모델이 복잡한 과제를 단계적으로 해결할 수 있게 되었다. 그러나 CoT 능력을 학습하려면 상세한 추론 데이터가 필요하며, 이는 종종 부족하다. self-taught reasoner(STaR) 프레임워크는 강화학습을 사용해 추론 단계를 자동 생성함으로써 이 문제를 해결하고, 사람이 라벨링한 데이터에 대한 의존을 줄인다. STaR와 그 변형들이 실증적으로 성공을 보였음에도, 이러한 개선을 설명하는 이론적 기반은 부족하다. 본 연구는 CoT 추론과 STaR에 대한 강화학습의 효과를 이해하기 위한 이론적 프레임워크를 제공한다. 기여는 다음과 같다: (1) 효과적인 추론 개선을 시작하기 위해 필요한 사전학습 모델의 품질에 대한 기준; (2) 정책 개선(policy improvement) 분석으로, LLM 추론이 STaR로 반복적으로 향상되는 이유를 보임; (3) 최적 추론 정책으로의 수렴 조건; (4) STaR의 견고성(robustness) 검토로, 가끔 잘못된 단계를 포함하더라도 추론을 개선할 수 있는 방식을 설명한다. 또한 GPT-2, Qwen2.5-0.5B, Phi-3-mini에서 RL-STaR를 실행한 결과, 측정된 return 곡선이 분석이 예측한 것과 일치한다. 이 프레임워크는 실증적 발견과 이론적 통찰을 연결하여 LLM 추론을 위한 강화학습 접근을 발전시킨다.