GraftOOD: 비디오 보상 최적화를 위한 이점 가중 정류에 분포 외 예시 접목
GraftOOD: Grafting Out-of-Distribution Exemplars into Advantage-Weighted Rectification for Video Reward Optimization
비디오 보상(reward) 최적화는 대리 보상을 증가시키는 동시에 비디오의 역동성을 감소시킬 수 있으며, 본 논문에서는 비디오 수준의 모션 품질 보상 하에서도 발생하는 이러한 불일치를 모션 붕괴(motion collapse)로 규명합니다. 이에 따라 선택된 프롬프트(prompt) 그룹에서 온라인 롤아웃의 일부를 분포 외(out-of-distribution) 비디오 예시로 대체하는 GraftOOD를 제안합니다. 공유 속도 회귀 목적함수는 그룹 상대적 보상 정류와 시퀀스 수준 예시 감독을 결합하여, 예시 생성 궤적이나 추가적인 지도 손실(loss) 계수를 필요로 하지 않습니다. 또한 점별 최적 필드를 두 개의 소스별 타깃 필드가 소스 사후 확률로 가중 결합된 형태로 특성화합니다. 외부 감독을 제공하기 위해 2,397개 프롬프트에 대해 형식이 일치하는 9,588개의 예시를 포함하는 GraftSet-Video를 구축했습니다. Wan2.1-1.3B에서 GraftOOD는 보상 전용 FlowAWR 대비 Dynamic Degree를 4.86에서 44.41로 끌어올렸으며, HPSv3는 8.10에서 7.32로 감소했고 VisionReward는 유사한 수준을 유지했습니다. 주요 설정에서 GraftOOD는 세 가지 예시 증강 방법 중 10개 지표 중 9개에서 우위를 보였습니다. 예시 빈도 및 그룹 내 개수에 대한 소거 연구를 통해, 예시 사용량 증가에 따른 일률적 이득보다는 역동성과 보상 간의 트레이드오프가 존재함을 확인했습니다. 이러한 결과는 측정된 더 높은 역동성이 생성된 비디오의 일관되고 시각적으로 타당한 모션과 동일시되지 않는다는 점을 유의하면서도, 외부 예시 감독이 스칼라 보상 피드백을 보완하는 역할을 뒷받침합니다. 코드는 https://github.com/Fuzm7/FlowAWR 에서 확인할 수 있습니다.