루브릭 기반 학습에서 LLM 검증기 의존성과 희소 보상 문제를 해결하기 위해, 루브릭 조건부 정책을 교사로 하여 토큰 단위로 지식을 증류하는 검증기 없는 사후학습 방법인 RGSD를 제안한다. 이 방법은 Qwen 모델에서 학습 시 검증자 호출 없이도 검증 기반 GRPO와 대등한 루브릭 만족도를 달성하여 효율적인 대안임을 입증했다.
인간의 암묵적이고 진화하는 기준을 반영하기 어려운 개방형 대화의 인간성 평가 문제를 해결하기 위해, 최소한의 인간 주석을 시드로 평가 루브릭과 사례를 공진화시키는 자가 진화 시스템 GrowLoop를 제안한다. 해당 시스템은 기존 방법보다 인간 판단과 높은 정렬을 보이며 모델의 발전과 새로운 시나리오에 지속적으로 적응할 수 있다.