PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01052v1cs.CV

비디오 생성에서 동적 피사체 집합에 대한 피사체 일관성을 향하여

Towards Subject Consistency over Dynamic Subject Sets in Video Generation

본 논문에서는 비디오 생성이 더 긴 시간으로 확장됨에 따라, 피사체 일관성(subject consistency)을 동적 피사체 집합(dynamic subject sets) 상에서 평가해야 한다고 주장합니다. 이에 따라 적격한 피사체들의 가시적 수명 동안 이들을 동적으로 추적하고, 불일치 이벤트를 명시적으로 감지하며 상호 보완적인 6개의 객체 수준 지표를 사용하여 국소적 연속성과 전역적 정체성 보존을 측정하는 평가 프레임워크인 DynSC-Eval을 소개합니다. 유효성을 검증하기 위해 불일치 이벤트를 능동적으로 주입하는 합성 실험을 설계하여, DynSC-Eval의 민감도와 기존 지표들의 한계를 모두 입증합니다. 5초, 15초, 60초 비디오 생성에 대해 다양한 모델을 평가한 결과, 기존 지표로는 가려졌던 상당한 피사체 일관성 차이가 더욱 명확히 드러났습니다. 평가를 넘어, DynSC-Eval로부터 보상을 구축하고 자율주행 테스트베드에서 DiffusionNFT 사후 학습(post-training)을 적용합니다. 5초 생성에서 본 접근 방식은 6개의 불일치 지표를 Wan-2.1-1.3B의 경우 평균 13.82%, SANA-2B의 경우 5.66% 감소시켰으며, I2V 모델인 ReSim에서도 개선이 관찰되었습니다. 정성적 비교를 통해서도 제안 방법의 효과를 추가로 입증합니다. 이후 커리큘럼 학습(curriculum learning)을 통해 생성을 10초 및 30초로 확장하고, 다른 기능들을 대체로 보존하면서도 일관성 최적화가 여전히 유효함을 보여줍니다.