PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22947v2cs.CV

RewardVerse: 비디오 보상 모델링을 위한 루브릭 기반 정책 최적화

RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling

강화학습(RL)은 비디오 생성 모델을 최적화하는 데 필수적이며, 견고한 보상 모델(RM)이 그 핵심 기반 역할을 합니다. 그러나 기존의 비디오 보상 모델은 명시적인 평가 기준 없이 복잡하고 주관적인 비디오 품질을 단일 점수로 직접 매핑하기 때문에 종종 불안정한 스칼라 점수를 생성합니다. 이는 서로 다른 프롬프트 전반에서 점수 척도가 무너지거나 변동하는 스칼라 드리프트(scalar drift)로 이어져 강화학습을 위한 보상을 신뢰할 수 없게 만듭니다. 전문적인 인간 어노테이션 엔지니어링에서 영감을 받아, 본 연구에서는 평가 쿼리와 채점기 사이의 중간 표현으로 동적 루브릭(rubric)을 도입하는 루브릭 기반 비디오 보상 프레임워크인 RewardVerse를 통해 이 문제를 해결합니다. 제약 없는 직접 채점 대신, RewardVerse는 먼저 명시적인 평가 기준을 생성한 다음 루브릭 기반 채점을 수행하여 스칼라 드리프트를 완화하는 안정적인 의미적 기준점(semantic anchor)을 제공합니다. 이러한 협력적 파이프라인을 효율적으로 최적화하기 위해, 2단계 학습 알고리즘인 루브릭 기반 정책 최적화(RGPO, Rubric-Guided Policy Optimization)를 제안합니다. RGPO는 먼저 자체 진화하는 시드 루브릭을 사용하여 채점기를 웜업한 다음, 쿼리 적응형 평가 기준을 생성하도록 루브릭 생성기를 공동 최적화하는 동시에 채점기를 인간의 평가 점수와 지속적으로 정렬합니다. 16차원 EvalVerse 벤치마크 및 외부 데이터셋에 대한 광범위한 실험을 통해 RewardVerse가 스칼라 드리프트를 완화하고 포인트와이즈(pointwise) 및 페어와이즈(pairwise) 평가 모두에서 최고 수준(state-of-the-art)의 성능을 달성하며, 비디오 생성 강화학습을 위한 견고하고 해석 가능한 보상 신호를 제공함을 입증합니다.

arXiv:2606.07311v1cs.CV

CULTURESCORE: 비디오 생성 모델의 문화적 충실성 평가

CULTURESCORE: Evaluating Cultural Faithfulness in Video Generation Models

Veo 3.1, LTX-2와 같은 비디오 생성 모델이 발전함에 따라, 다양한 전 세계 문화를 정확하게 표현하는 능력은 여전히 중요하면서도 연구가 부족한 영역으로 남아 있다. VideoScore와 같은 현재 지표는 시각적 품질만 측정할 뿐, 문화적 충실성을 평가할 수단을 제공하지 않는다. 그 결과 나마스테를 악수로 바꿔 버리는 모델이 해당 제스처를 올바르게 생성하는 모델과 동일한 점수를 받는다. 우리는 CultureScore를 제안한다. 이는 문화적 충실성을 세 가지 세분화된 차원으로 분해하는 구성적 평가 프레임워크이다: 정체성(Identity, 누가 표현되는가), 맥락(Context, 문화적으로 현지화된 배경), 행동(Behavior, 규범적 제스처와 상호작용). 이 프레임워크를 10개국에 걸친 평가 스위트를 통해 구체화하였으며, 이 과정에서 세 가지 최신(state-of-the-art) 모델을 대상으로 6,180개의 생성 비디오를 확보하였다. 평가 결과, 현재 어떤 모델도 문화적으로 충실한 비디오 생성을 달성하지 못했으며, 가장 성능이 좋은 모델조차 전체 CultureScore 56.8%에 불과하다. 행동 차원이 가장 어려워 모든 모델에서 52% 미만을 기록하였다. 또한 인간 선호도 순위는 CultureScore와 방향적으로 일치하나 VideoScore와는 반대 경향을 보였다. 시각적 품질에서 최고 점수를 받은 모델이 주석 작업자들에게는 최하위로 순위가 매겨져, 문화적 충실성이 공정한(equitable) 비디오 생성을 위한 필수 기준임을 강조한다.