TurnNat: Automatic Evaluation of Turn-Taking Naturalness in Dyadic Spoken Dialogue
TurnNat은 이중 채널 음성 대화에서 발화 교대(turn-taking)의 자연스러움을 자동으로 평가하기 위한 가능도(likelihood) 기반 프레임워크로, 자연 대화로 학습된 인과적 예측 모델이 추정하는 미래 두 화자의 음성 활동 상태의 음의 로그 가능도(NLL)를 발화 경계 단위(TBU)에 걸쳐 집계하여 대화 수준의 자연스러움 점수를 산출한다. 인간 평가로 검증된 제어된 섭동(perturbation) 벤치마크 실험에서 TurnNat은 지연 응답, 조기 발화 시작 등 다양한 타이밍 오류를 단일 통합 프레임워크로 성공적으로 식별함을 보였다.