말소리의 형태: 음성 기반 3D 얼굴 애니메이션을 위한 동시조음의 기하학적 척도
The Shape of Speech: A Geometric Measure of Coarticulation for Speech-Driven 3D Facial Animation
음성 기반 3D 얼굴 애니메이션은 알아볼 수 있는 입 모양을 재현할 수 있습니다. 그러나 입 모양 사이의 움직임을 단순화할 수 있으며, 이러한 움직임은 각 소리 주변의 소리가 해당 조음을 형성하는 방식인 동시조음(coarticulation)을 담고 있습니다. 본 논문에서는 이러한 궤적 형성의 기하학적 척도를 소개합니다. 이는 음성 구간의 모음, 자음, 모음 위치를 통과하는 최단 경로와 입술 경로 길이를 비교하는 방식입니다. 종단점 현(chord)과 달리, 이 자음 인지 경로는 필수적인 경유를 고려하고 축퇴를 방지하는 동시에 균일한 움직임 이득에 대한 불변성을 유지합니다. 이 척도는 강제 정렬(forced alignment)만을 필요로 하므로 정답(ground truth)이 존재하지 않는 경우에도 적용할 수 있습니다. 실시간 및 오프라인의 아키텍처 계열별로 하나씩 선정한 4가지 최신 방법론에 대해 이를 시연합니다. 4가지 방법 모두 캡처된 실제 음성보다 더 평평한 입술 궤적을 그립니다. 프레임 레이트가 일치하는 정답과 비교했을 때 DiffPoseTalk, ARTalk, FaceFormer는 명확한 결함을 보였으며, 이는 본 척도 기준으로 실제 음성의 빠른 조음 성분을 15-60% 제거한 것과 동등합니다. CodeTalker는 주요 척도에서는 미미한 차이를 보였으나 보조 척도에서는 결함이 명확했습니다. 97명의 평가자와 3,523건의 판단으로 구성된 사전 등록 연구는 측정된 방향성을 뒷받침합니다. 즉, 실제 움직임의 제어된 감쇠는 점수를 낮추고 페널티를 받는 반면, 과장은 테스트된 범위 내에서 감지된 페널티를 보이지 않았습니다. 또한 평가자들은 문장 비교의 73.4%에서, 그리고 전체적으로 단일 단어에서도 실제 음성을 선호했습니다. 종합하면, 이 척도와 캘리브레이션 및 연구는 지각적으로 유의미한 궤적 형성 손실을 식별하고 합성된 조음을 개선하기 위한 구체적인 목표를 제시합니다.