Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations
검증 가능한 보상(RLVR)만으로는 스타일·구조 등 비검증 속성이 무시되는 문제를 해결하기 위해, VARL은 생성기-판별기 적대적 프레임워크로 검증 보상과 인간 데모 기반 학습 신호를 곱셈 방식으로 결합한다. 버그 수정·스토리 생성·countdown-code 등 다양한 도메인에서 RLVR의 정확도 향상을 유지하면서도 다양성 붕괴와 보상 해킹을 크게 억제하고 인간 유사 출력을 달성했다.