PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.19840v2cs.CV

KoUniTalk: 조음 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크

KoUniTalk: A Lightweight Articulation-Centered Korean-English 3D Talking Face Benchmark

고품질 3D 토킹 페이스(talking face) 데이터셋은 여전히 대부분 영어 중심으로 구성되어 있으며, 한국어 3D 얼굴 모션 데이터는 메시 토폴로지(mesh topology), 공간 스케일, 좌표계, 시간 샘플링의 차이로 인해 표준 영어 벤치마크와 결합하기 어렵다. 본 논문에서는 변형 전이(deformation transfer)를 활용하여 VOCASET 및 공개된 한국어 음성 기반 3D 토킹 페이스 데이터를 공유 메시 토폴로지로 리타기팅(retargeting)한 조음(articulation) 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크인 KoUniTalk를 제시한다. 새로운 변형 전이 알고리즘이나 전두부(full-head) 신원 보존형 아바타 데이터셋을 제안하기보다는, KoUniTalk는 영어와 한국어 전반에서 통제된 음성 구동 얼굴 조음 학습(training) 및 평가(evaluation)를 위한 신원 중립적 표준(canonical) 출력 공간을 제공한다. 통합 템플릿은 1,176개의 정점(vertex)을 포함하며 입과 인접한 하안부 및 중안부 영역에 집중하여 출력 차원을 15,069차원 및 72,147차원에서 3,528차원으로 축소하며, 이는 VOCASET/FLAME 및 원본 한국어 메시에 비해 각각 4.27배 및 20.45배 감소한 것에 해당한다. 리타기팅이 음성 관련 모션을 보존하는지 검증하기 위해, 입 벌림(mouth opening), 입 너비, 개구율(aperture ratio), 입 벌림 동역학(mouth-opening dynamics)을 포함한 의미론적 입 랜드마크 궤적을 평가한다. 한국어 데이터셋의 공식 테스트 세트가 공개되지 않았기 때문에, 피험자가 겹치지 않는(subject-disjoint) 한국어 벤치마크 분할을 추가로 정의한다. 처리 및 매칭된 벤치마크는 22명의 화자, 4,978개의 시퀀스, 642,781개의 프레임을 포함하여 단일 소형 조음 템플릿 공간에서 음성 구동 3D 얼굴 애니메이션 모델의 한국어-영어 교차 데이터셋 평가를 가능하게 한다. 소스 보고 인벤토리 수는 처리된 수치와 별도로 나열된다.