PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00825v1cs.CV

정렬 후 추론: 더빙을 위한 멀티모달 립싱크 판별 모델

Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing

더빙 품질 관리는 더빙된 오디오가 아직 존재하지 않을 수 있기 때문에 무음 비디오와 텍스트만을 사용하여, 후보 대사 텍스트가 발화자의 가시적인 조음 동작과 내용 및 타이밍 측면 모두에서 일치하는지 판단할 수 있는 무참조(reference-free) 판별 모델을 필요로 합니다. 기존의 시각적 음성 인식기 및 비디오-언어 모델은 이러한 환경에 잘 맞지 않습니다. 입술 움직임에서 발화 내용을 복원하도록 파인튜닝(fine-tuning)되더라도 시간적 오류에는 여전히 둔감하기 때문입니다. 본 논문에서는 프레임 단위 입술 표현과 후보 대사의 음소 단위 간 단조 정렬(monotonic alignment)을 먼저 구축한 다음, 이 정렬을 바탕으로 추론하여 최종 판단을 내리는 다국어 립싱크 판별 모델인 Align Then Reason(ATR)을 소개합니다. 정렬 스코어러는 대규모 언어 모델(LLM)에 각 음소 단위에 대한 로컬 증거와 보정된 글로벌 정렬 점수를 모두 제공하여, 모델이 내용과 타이밍에 대해 함께 추론할 수 있도록 합니다. 7개 언어 벤치마크에서 본 연구의 방식은 2B, 4B, 9B 추론 모델을 사용했을 때 대응하는 Qwen3.5 SFT 기준선(baseline) 대비 평균 AUC를 각각 59.4%, 50.2%, 50.8% 향상시킵니다. 이러한 성능 향상은 LLM 패밀리 전반에 걸쳐 일반화되어 LLaMA-3.1-8B 및 Mistral-7B에서 최고 성능의 기준선 대비 각각 45.9% 및 46.6%의 평균 AUC 향상을 달성합니다. 또한 학습에 사용되지 않은 3개의 MuAViC 언어로 데이터셋 간 전이도 가능함을 보여줍니다. 나아가 실제 더빙 대사로 구축된 두 가지 다운스트림 작업에서 평가를 수행했습니다. 더빙 대사 재순위화(reranking)에서 ATR-9B는 최고 성능의 립리딩 기준선 대비 52.0% 우수한 성능을 보였으며, 대본-클립 매칭(script-to-clip assignment)에서는 ATR-9B가 최고 성능의 립리딩 기준선 대비 17.7% 향상되었습니다.

arXiv:2609.22264v1cs.MM

Hi-Singers: 표현력 있는 오디오 기반 노래하는 머리 합성을 위한 포괄적인 고품질 데이터셋

Hi-Singers: A Comprehensive High-Quality Dataset for Expressive Audio-Driven Singing Head Synthesis

오디오 기반 디지털 휴먼 생성을 위한 최첨단 모델들은 말하는 머리 합성(talking-head synthesis)에서 사실적인 결과를 달성했습니다. 그러나 상당한 도메인 격차(Domain Gap)로 인해 이러한 모델을 노래하는 머리 합성(singing-head synthesis)으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다. 노래는 더 과장된 표정, 생생한 턱 벌림, 그리고 정밀한 리듬 동기화를 필요로 하기 때문입니다. 주로 음성 데이터셋으로 학습된 기존 모델들은 종종 "리듬 편차(rhythmic drift)"와 제한된 역동성으로 인해 어려움을 겪습니다. 이를 해결하기 위해 우리는 노래하는 머리 합성에 특별히 맞춰진 최초의 대규모 고품질 인더와일드(in-the-wild) 비디오 데이터셋인 Hi-Singers를 소개합니다. Hi-Singers는 엄격한 자동화 및 수동 필터링 파이프라인을 거쳐 엄격한 주제 부합성, 고해상도 렌더링, 안정적인 움직임을 보장하며, 총 약 170시간에 달하는 29,608개의 비디오 세그먼트를 구축했습니다. 나아가 우리는 언어 및 음악적 스타일에 걸쳐 균형 잡힌 전용 평가 벤치마크를 구축했습니다. 3D 계수 기반 및 확산(diffusion) 기반 모델을 포함한 다양한 아키텍처에 걸친 광범위한 실험은 Hi-Singers가 모든 차원에서 성능을 일관되고 크게 향상시킴을 보여줍니다. 구체적으로, 이 데이터셋을 통해 모델은 우수한 시각적 사실성, 향상된 립싱크 일관성, 더욱 정밀한 리듬 역동성을 달성할 수 있어 도메인 격차를 효과적으로 해소하고 노래 합성 태스크에 대한 새로운 성능 기준을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singers 에서 확인할 수 있습니다.

arXiv:2606.22772v1cs.CV

LoCC: 반사실적 프레임 일관성을 통한 립싱크 딥페이크 탐지 및 위치 특정

LoCC: Detection and Localization of Lip-Syncing Deepfakes via Counterfactual Frame Consistency

립싱크 딥페이크는 조작된 미디어 중 가장 어려운 유형 중 하나이며, 이는 아티팩트가 거의 전적으로 입 주변 영역에 국한되고 시간에 따라 동적으로 변화하기 때문이다. 이러한 딥페이크를 탐지하려면 입술 움직임에 대한 정밀한 시간적·공간적 모델링이 필요하다. 본 논문에서는 세그먼트 수준과 프레임 수준 모두에서 립싱크 딥페이크를 세밀하게 탐지하고 위치를 특정하는 새로운 탐지 프레임워크인 LoCC를 제안한다. 동영상을 전체적으로 분석하는 기존 접근법과 달리, 본 방법은 각 프레임이 시간적 이웃으로부터 생성된 반사실적(counterfactual) 추정치와 일치하는지 평가한다. 실제 동영상은 강하고 안정적인 일관성을 보이는 반면, 립싱크 딥페이크는 국소적 불일치를 유발한다. 교사-학생(teacher-student) 학습 패러다임을 따르면, 우리 모델은 이러한 프레임 수준 불일치를 효과적으로 포착하며 LAV-DF, AVDF1M, FakeAVCeleb, KODF를 포함한 여러 벤치마크 립싱크 딥페이크 데이터셋에서 최신(state-of-the-art) 방법들 대비 우수한 성능을 달성하고, 다양한 압축 수준과 데이터셋에 걸쳐 잘 일반화한다.