VTR-Bench: 비디오 생성의 시각적 텍스트 렌더링 평가를 위한 체계적 벤치마크
VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation
최근 비디오 생성 모델은 자연어 지시문으로부터 영화에 가까운 시각적 품질을 갖춘 매우 사실적인 비디오를 생성할 수 있다. 그러나 기존 평가 벤치마크는 주로 시각적 품질, 미적 매력, 물리적 타당성 평가에 치중되어 있으며, 일상적인 장면에서 정보를 전달하는 필수 매체인 텍스트에는 거의 주목하지 않았다. 생성된 비디오가 시각적으로 매력적이고 실물 같은 대상을 특징으로 하더라도, 장면 내의 텍스트는 여전히 부정확하게 렌더링될 수 있다. 이러한 간과된 측면을 다루기 위해, 우리는 비디오 생성 모델의 시각적 텍스트 렌더링(VTR, Visual Text Rendering) 능력을 평가하기 위한 체계적 벤치마크인 VTR-Bench를 소개한다. VTR-Bench는 광고 및 과학 비디오와 같은 구체적인 적용 시나리오 내에 텍스트를 배치하며, 5개 시나리오 범주에 걸친 세심하게 구축된 300개의 프롬프트를 포함한다. 우리는 인간 정렬(human alignment)을 갖춘 자동 평가 파이프라인을 개발하여, 매체 특화 전사(carrier-specific transcription)를 통해 텍스트 충실도를 평가하고, 프롬프트 특화 질의 연쇄(chain of query)를 통해 장면 및 모션 요구사항을 별도로 평가한다. 평가를 넘어, 우리는 디렉터(Director) 에이전트가 이미지 및 비디오 생성과 시각적 평가를 조율하여 시각적 피드백을 통해 반복적 개선과 후보 선택을 안내하는 키프레임 유도 에이전트 프레임워크(Keyframe-Guided Agentic Framework)를 도입한다. 11개의 최첨단 모델을 대상으로 한 실험을 통해 장면 텍스트를 정확하게 렌더링하는 데 광범위한 어려움이 있음을 밝혀냈으며, 가장 우수한 성능을 보인 모델도 0.250의 종합 단어 오류율(WER)을 기록했다. 나아가 우리는 텍스트 렌더링 실패 사례를 분석하여 현재 비디오 생성 모델이 직면한 과제를 규명한다. 이러한 결과는 시각적 텍스트 렌더링이 비디오 생성의 핵심 과제임을 강조하며 성능 향상을 위한 실질적인 경로를 제시한다. 코드는 https://github.com/hardenyu21/VTR-Bench 에서 확인할 수 있다.