PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00825v1cs.CV

정렬 후 추론: 더빙을 위한 멀티모달 립싱크 판별 모델

Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing

더빙 품질 관리는 더빙된 오디오가 아직 존재하지 않을 수 있기 때문에 무음 비디오와 텍스트만을 사용하여, 후보 대사 텍스트가 발화자의 가시적인 조음 동작과 내용 및 타이밍 측면 모두에서 일치하는지 판단할 수 있는 무참조(reference-free) 판별 모델을 필요로 합니다. 기존의 시각적 음성 인식기 및 비디오-언어 모델은 이러한 환경에 잘 맞지 않습니다. 입술 움직임에서 발화 내용을 복원하도록 파인튜닝(fine-tuning)되더라도 시간적 오류에는 여전히 둔감하기 때문입니다. 본 논문에서는 프레임 단위 입술 표현과 후보 대사의 음소 단위 간 단조 정렬(monotonic alignment)을 먼저 구축한 다음, 이 정렬을 바탕으로 추론하여 최종 판단을 내리는 다국어 립싱크 판별 모델인 Align Then Reason(ATR)을 소개합니다. 정렬 스코어러는 대규모 언어 모델(LLM)에 각 음소 단위에 대한 로컬 증거와 보정된 글로벌 정렬 점수를 모두 제공하여, 모델이 내용과 타이밍에 대해 함께 추론할 수 있도록 합니다. 7개 언어 벤치마크에서 본 연구의 방식은 2B, 4B, 9B 추론 모델을 사용했을 때 대응하는 Qwen3.5 SFT 기준선(baseline) 대비 평균 AUC를 각각 59.4%, 50.2%, 50.8% 향상시킵니다. 이러한 성능 향상은 LLM 패밀리 전반에 걸쳐 일반화되어 LLaMA-3.1-8B 및 Mistral-7B에서 최고 성능의 기준선 대비 각각 45.9% 및 46.6%의 평균 AUC 향상을 달성합니다. 또한 학습에 사용되지 않은 3개의 MuAViC 언어로 데이터셋 간 전이도 가능함을 보여줍니다. 나아가 실제 더빙 대사로 구축된 두 가지 다운스트림 작업에서 평가를 수행했습니다. 더빙 대사 재순위화(reranking)에서 ATR-9B는 최고 성능의 립리딩 기준선 대비 52.0% 우수한 성능을 보였으며, 대본-클립 매칭(script-to-clip assignment)에서는 ATR-9B가 최고 성능의 립리딩 기준선 대비 17.7% 향상되었습니다.