PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19327v1cs.AI

보상 감독 재고: 루브릭 조건화 자기 증류

Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

추론 언어 모델 사후학습에서 사고의 연쇄(Chain-of-Thought) 증류의 노이즈와 스칼라 보상 강화학습의 세밀한 피드백 손실 문제를 해결하기 위해, 기준 수준 루브릭으로 교사 모델을 조건화해 학생의 온-정책(on-policy) 궤적에 토큰 수준 지도를 주는 루브릭 조건화 자기 증류(RCSD) 프레임워크를 제안합니다. 작업별 루브릭 생성과 루브릭 안내 추론기 학습의 2단계 파이프라인으로 구현했으며, 다양한 과학 추론 벤치마크에서 평균적으로 GRPO보다 1.4점, OPSD보다 0.9점 높은 성능을 달성했습니다.