PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.34178v2cs.CV

궤적 정렬 글리프 렌더링을 통한 향상된 비디오 텍스트 편집

Enhanced Video Text Editing with Trajectory-Aligned Glyph Rendering

비디오 텍스트 편집은 비디오의 나머지 부분은 그대로 유지하면서 비디오 내의 텍스트를 대체하거나 추가하는 것을 목표로 하며, 이는 편집된 텍스트가 모든 프레임에서 정확하고 장면과 일관되게 움직일 것을 요구합니다. 비디오 확산 모델(video diffusion models)의 눈부신 발전에도 불구하고, 이러한 모델들은 정확한 획 구조를 재현하는 데 어려움을 겪으며 특히 복잡한 획을 가진 글자의 경우 깨지거나 잘못된 글자를 생성하는 경우가 많습니다. 이를 해결하기 위해, 본 논문에서는 텍스트의 위치와 원근을 따라 프레임별 명시적인 글리프 안내를 제공하는 궤적 정렬 글리프 렌더링 참조(trajectory-aligned glyph rendering reference)와, 확산 손실(diffusion loss)이 간과하는 획 오류를 겨냥하여 깊이별 정규화된 오류와 함께 동결된 텍스트 인식기의 다중 깊이 특징에서 생성된 텍스트를 지도하는 깊이 정규화된 인식기 특징 지도(depth-normalized recognizer feature supervision)를 제안합니다. 나아가 향후 연구를 촉진하기 위해 공개될 예정이며, 텍스트 대체 및 텍스트 추가를 다루는 440개의 주석이 달린 텍스트 궤적을 포함하는 288개의 실제 장면 클립 벤치마크인 VTEdit을 구축했습니다. VTEdit에 대한 실험 결과, 제안하는 방법은 텍스트 정확도와 배경 보존 측면에서 이미지 텍스트 편집 방법, 비디오 편집 방법 및 상용 모델보다 우수한 성능을 보여 0.9408의 문장 정확도를 달성했으며, 사용자 연구에서 가장 높은 선호도를 얻었습니다.