RewardVerse: 비디오 보상 모델링을 위한 루브릭 기반 정책 최적화
RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
강화학습(RL)은 비디오 생성 모델을 최적화하는 데 필수적이며, 견고한 보상 모델(RM)이 그 핵심 기반 역할을 합니다. 그러나 기존의 비디오 보상 모델은 명시적인 평가 기준 없이 복잡하고 주관적인 비디오 품질을 단일 점수로 직접 매핑하기 때문에 종종 불안정한 스칼라 점수를 생성합니다. 이는 서로 다른 프롬프트 전반에서 점수 척도가 무너지거나 변동하는 스칼라 드리프트(scalar drift)로 이어져 강화학습을 위한 보상을 신뢰할 수 없게 만듭니다. 전문적인 인간 어노테이션 엔지니어링에서 영감을 받아, 본 연구에서는 평가 쿼리와 채점기 사이의 중간 표현으로 동적 루브릭(rubric)을 도입하는 루브릭 기반 비디오 보상 프레임워크인 RewardVerse를 통해 이 문제를 해결합니다. 제약 없는 직접 채점 대신, RewardVerse는 먼저 명시적인 평가 기준을 생성한 다음 루브릭 기반 채점을 수행하여 스칼라 드리프트를 완화하는 안정적인 의미적 기준점(semantic anchor)을 제공합니다. 이러한 협력적 파이프라인을 효율적으로 최적화하기 위해, 2단계 학습 알고리즘인 루브릭 기반 정책 최적화(RGPO, Rubric-Guided Policy Optimization)를 제안합니다. RGPO는 먼저 자체 진화하는 시드 루브릭을 사용하여 채점기를 웜업한 다음, 쿼리 적응형 평가 기준을 생성하도록 루브릭 생성기를 공동 최적화하는 동시에 채점기를 인간의 평가 점수와 지속적으로 정렬합니다. 16차원 EvalVerse 벤치마크 및 외부 데이터셋에 대한 광범위한 실험을 통해 RewardVerse가 스칼라 드리프트를 완화하고 포인트와이즈(pointwise) 및 페어와이즈(pairwise) 평가 모두에서 최고 수준(state-of-the-art)의 성능을 달성하며, 비디오 생성 강화학습을 위한 견고하고 해석 가능한 보상 신호를 제공함을 입증합니다.