토큰 수준의 비디오 강화학습
Token-Level Video Reinforcement Learning
비디오 생성을 위한 강화학습(RL)은 일반적으로 샘플링된 비디오 전체에 하나의 스칼라 보상을 부여합니다. 그러나 비디오의 결함은 균일하지 않습니다. 일부 시각적 토큰은 이미 프롬프트를 만족하는 반면, 다른 토큰들은 수정이 필요할 수 있습니다. 스칼라 보상은 오류의 위치를 특정하지 못하므로, 최적화 과정에서 만족스러운 토큰을 왜곡하는 동시에 실제로 변경이 필요한 토큰은 충분히 겨냥하지 못하게 만듭니다. 본 논문에서는 최적화 대상 보상으로부터 토큰 수준의 기여도(credit)를 도출하는 프레임워크인 토큰 수준 비디오 강화학습(Token-Level Video Reinforcement Learning, TVRL)을 제안합니다. 핵심 통찰은 고정된 비전-언어 모델의 답변 가능도(likelihood)가 두 가지 신호를 모두 제공한다는 점입니다. 모델의 출력은 비디오 수준 보상에 기여하는 한편, 비디오 입력 기울기(gradient)의 크기는 생성된 비디오 토큰 중 어떤 것이 해당 점수에 가장 큰 영향을 미치는지 밝혀줍니다. 저자들은 프롬프트 기반 질문 보상들을 하나의 그룹 상대적 이점(group-relative advantage)으로 평균화하고, 분리된(detached) 질문 조건부 토큰 기여도 맵을 사용하여 클리핑된 정책 비율 내의 조밀한 디노이징 전이 로그 확률에 가중치를 재부여함으로써 TVRL을 Group Relative Policy Optimization(GRPO)에 구체화합니다. VBench-2.0에서 TVRL은 57.69의 종합 점수를 달성하여 베이스 모델보다 3.60점 높은 성능을 보였습니다. 또한 TVRL은 세 가지 SDE 샘플러(SAGE, Flow, Dance) 전반에서 일치된 GRPO 베이스라인 대비 2.68~3.15점, 네 가지 보상 모델(VideoAlign, VideoScore2, UnifiedReward2, Qwen3.5-9B) 전반에서 1.33~3.15점 향상된 결과를 달성했습니다.