지시 기반 비디오 편집을 위한 움직임 인식 보상 모델링
Motion-Aware Reward Modeling for Instruction-Guided Video Editing
한국어 초록
지시 기반 비디오 편집용 보상 모델은 움직임을 희생하면서 시간적 일관성을 선호할 수 있다. 움직임 붕괴라고 부르는 이 실패를 조사하기 위해 실제 편집 결과에서 움직임을 통제된 방식으로 억제한 변형을 사용했다. VE-Bench에서 평가한 복합 보상은 사례의 $97\%$에서 움직임을 억제한 후보를 선호했다. 학습된 비디오 보상과 비전-언어 모델(VLM) 평가기도 미세한 억제를 판별하기 어려워했다. 잠재 표현 최적화와 보상 기반 미세조정은 이 약점을 이용해 움직임이 줄어드는 동안 보상을 높였다. 기본 보상 백본을 선형 탐침으로 분석했을 때 미세한 억제에 대한 판별 성능이 무작위 추측 수준에 가까웠다. 이를 바탕으로 프레임 사이의 동역학을 명시적인 입력으로 제공한다. RGB 프레임 차이 스트림을 사용하고, 움직임이 억제됐거나 인위적으로 만들어진 부정 예시로 선호 학습을 수행하는 움직임 인식 보상 모델을 제안한다. 증류 앵커는 모델이 사람의 품질 판단과 계속 일치하도록 한다. VE-Bench의 단계별 움직임 평가에서 이 모델은 억제된 후보를 선택하는 비율을 $0\%$로 줄였으며, 사람의 품질 평점과의 스피어먼 상관계수는 $0.57$이었다. 학습에 없던 억제 변형도 탐지했고, 두 편집 파이프라인에서 보상 기반 미세조정을 할 때 움직임을 보존했다. 이 결과는 비디오 편집의 보상에서 움직임을 명시적으로 모델링할 근거를 제시한다.
원문 초록
Reward models for instruction-guided video editing can favor temporal consistency at the expense of motion. We study this failure, termed \emph{motion collapse}, using controlled motion-suppression variants of real edits. On VE-Bench, the evaluated composite reward prefers a motion-suppressed candidate in $97\%$ of cases. Learned video rewards and a VLM judge also struggle with mild suppression, while latent optimization and reward-guided fine-tuning exploit this weakness to increase reward as motion declines. A linear probe of our base reward backbone performs near chance on mild suppression, motivating an explicit inter-frame dynamics input. We propose a motion-aware reward model that combines an RGB frame-difference stream with preference training against motion-suppressed and fabricated-motion negatives. A distillation anchor preserves alignment with human quality judgments. On the VE-Bench motion ladder, our model reduces the rate of selecting motion-suppressed candidates to $0\%$ while achieving a Spearman correlation of $0.57$ with human quality ratings. It also detects unseen suppression variants and preserves motion during reward-guided fine-tuning on two editing pipelines. These results support explicitly modeling motion in rewards for video editing.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22495v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.