말소리의 형태: 음성 기반 3D 얼굴 애니메이션을 위한 동시조음의 기하학적 척도
The Shape of Speech: A Geometric Measure of Coarticulation for Speech-Driven 3D Facial Animation
한국어 초록
음성 기반 3D 얼굴 애니메이션은 알아볼 수 있는 입 모양을 재현할 수 있습니다. 그러나 입 모양 사이의 움직임을 단순화할 수 있으며, 이러한 움직임은 각 소리 주변의 소리가 해당 조음을 형성하는 방식인 동시조음(coarticulation)을 담고 있습니다. 본 논문에서는 이러한 궤적 형성의 기하학적 척도를 소개합니다. 이는 음성 구간의 모음, 자음, 모음 위치를 통과하는 최단 경로와 입술 경로 길이를 비교하는 방식입니다. 종단점 현(chord)과 달리, 이 자음 인지 경로는 필수적인 경유를 고려하고 축퇴를 방지하는 동시에 균일한 움직임 이득에 대한 불변성을 유지합니다. 이 척도는 강제 정렬(forced alignment)만을 필요로 하므로 정답(ground truth)이 존재하지 않는 경우에도 적용할 수 있습니다. 실시간 및 오프라인의 아키텍처 계열별로 하나씩 선정한 4가지 최신 방법론에 대해 이를 시연합니다. 4가지 방법 모두 캡처된 실제 음성보다 더 평평한 입술 궤적을 그립니다. 프레임 레이트가 일치하는 정답과 비교했을 때 DiffPoseTalk, ARTalk, FaceFormer는 명확한 결함을 보였으며, 이는 본 척도 기준으로 실제 음성의 빠른 조음 성분을 15-60% 제거한 것과 동등합니다. CodeTalker는 주요 척도에서는 미미한 차이를 보였으나 보조 척도에서는 결함이 명확했습니다. 97명의 평가자와 3,523건의 판단으로 구성된 사전 등록 연구는 측정된 방향성을 뒷받침합니다. 즉, 실제 움직임의 제어된 감쇠는 점수를 낮추고 페널티를 받는 반면, 과장은 테스트된 범위 내에서 감지된 페널티를 보이지 않았습니다. 또한 평가자들은 문장 비교의 73.4%에서, 그리고 전체적으로 단일 단어에서도 실제 음성을 선호했습니다. 종합하면, 이 척도와 캘리브레이션 및 연구는 지각적으로 유의미한 궤적 형성 손실을 식별하고 합성된 조음을 개선하기 위한 구체적인 목표를 제시합니다.
원문 초록
Speech-driven 3D facial animation can reproduce recognizable mouth poses. However, it can simplify the motion between them, and that motion carries coarticulation, the way the sounds around each sound shape its articulation. We introduce a geometric measure of this trajectory shaping: lip-path length compared with the shortest route through the vowel, consonant and vowel positions of a speech segment. In contrast to the endpoint chord, this consonant-aware route accounts for obligatory transit and avoids degeneracy, while preserving invariance to uniform motion gain. The measure needs only a forced alignment, so it applies where no ground truth exists. We demonstrate it on four state-of-the-art methods, one per architectural family, real-time and offline. All four trace flatter lip trajectories than captured speech. Against frame-rate-matched ground truth, DiffPoseTalk, ARTalk and FaceFormer show clear deficits, equivalent on this measure to removing 15-60% of real speech's fast articulatory component. CodeTalker is marginal on the primary measure and clear on a companion measure. A pre-registered study with 97 viewers and 3,523 judgments underpins the measured direction: controlled damping of real motion lowers the score and is penalized, whereas exaggeration shows no detected penalty over the tested range. Viewers also prefer real speech in 73.4% of sentence comparisons and, in the aggregate, on single words. Together, the measure, its calibration and the study identify a perceptually relevant loss of trajectory shaping and a concrete target for improving synthesized articulation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 pages, 9 figures, 3 tables, under review