PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19236v1cs.LG

STARE: 정책 엔트로피 안정성을 위한 놀람(Surprisal) 기반 토큰 수준 어드밴티지 재가중치

STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability

GRPO와 같은 검증 가능한 보상을 활용한 강화학습 알고리즘은 대규모 언어 모델(LLM)의 복잡한 추론을 위한 주요한 사후학습 패러다임으로 부상했으나, 학습 과정에서 정책 엔트로피 붕괴 문제를 흔히 겪습니다. 본 연구는 GRPO 하에서 토큰 수준 엔트로피 역학에 대한 1차 그래디언트 분석을 수행하여 토큰 수준 크레딧 할당 불일치를 식별했습니다. 토큰당 엔트로피 변동은 궤적(trajectory) 수준 어드밴티지와 다음 토큰 분포에 대한 엔트로피 민감도 함수의 곱으로 분해되며, 이는 어드밴티지-놀람 4사분면 구조와 준임계(near-criticality) 속성을 나타냅니다. 이에 착안하여 STARE(Surprisal-guided Token-level Advantage Reweighting for policy Entropy stability)를 제안합니다. STARE는 배치 내 놀람 분위수를 통해 엔트로피 임계 토큰 부분집합을 식별하고, 해당 토큰의 유효 어드밴티지를 선택적으로 재가중치하며, 안정적인 엔트로피 조절을 위해 목표 엔트로피 폐루프 게이트를 통합합니다. 15억에서 320억 파라미터 규모의 모델과 세 가지 작업군(짧은 사고의 연쇄, 긴 사고의 연쇄, 멀티턴 도구 사용)에 걸쳐, STARE는 정책 엔트로피를 목표 대역 내로 유지하면서 수천 스텝 동안 안정적인 강화학습 학습을 지속했습니다. AIME24와 AIME25 벤치마크에서 STARE는 DAPO 및 기타 경쟁 베이스라인 대비 평균 정확도에서 4%~8% 더 높은 성능을 보였습니다. 또한 리플렉션 토큰과 응답 길이가 함께 증가함에 따라, 강화학습 학습 잠재력을 더욱 극대화하는 지속적인 탐험-활용 균형이 유지됨을 확인했습니다. 코드는 https://github.com/hp-luo/STARE에서 확인할 수 있습니다.