arXiv:2611.19714v1 cs.SD

마비말장애 발화에서 일본어 자음 모라를 표현하는 해석 가능한 음향 좌표계

An Interpretable Acoustic Coordinate System for Japanese Consonant Morae in Dysarthric Speech

Yuma Enomoto, Misa Yamaguchi, Hiroki Nishikawa, Ittetsu Taniguchi, Kazuhide Matsunaga, Narikazu Uzawa, Takao Onoye

제출 2026-11-17

한국어 초록

마비말장애는 말 명료도를 낮춘다. 조음이 점진적으로 달라지는 양상을 포착하려면 세밀한 피드백을 바탕으로 스스로 재활 훈련을 할 수 있어야 한다. 일본어는 모라를 기준으로 발화의 시간 구조가 정해지고 특유의 자음·모음 구조를 가지므로, 모라 단위로 피드백을 제공하는 것이 자연스럽다. 최근 시각화 방법은 거리를 기준으로 피드백을 제공하는 방식을 탐구했으나 대부분 모음에 한정된다. 생성 모델에서 얻은 임베딩은 순간적인 스펙트럼 구조를 평활화하는 경우가 많아 자음으로 확장하기 어렵다. 본 연구는 일본어 자음 모라를 시각화하는 시스템을 제안한다. 조음 편차를 정상 참조 발화에 대한 시간 거리와 스펙트럼 거리로 정의한 2차원 공간에 매핑한다. 실험 결과, 자음 범주는 이 공간에서 일관되게 분리됐다. 실루엣 계수는 0.5를 넘었고 원점 기준 ROC-AUC는 0.86을 넘었다. 실제 마비말장애 발화에서 불명확한 발음을 선별했을 때 ROC-AUC는 0.897이었다. 교란 실험으로 시간 방향과 스펙트럼 방향의 변화가 서로 직교함을 확인했다. 이로써 재활에 활용할 수 있는 물리적으로 해석 가능한 매핑을 제공한다.

원문 초록

Dysarthria reduces speech intelligibility, requiring self-directed rehabilitation based on fine-grained feedback to capture gradual articulatory changes. For Japanese speakers, such feedback is naturally provided in mora units due to its distinct moraic timing and consonant-vowel structure. While recent visualization methods have explored distance-based feedback, most are limited to vowels. Extending them to consonants is challenging, as generative embeddings often smooth transient spectral structures. We propose a visualization system for Japanese consonant morae that maps articulatory deviations onto a two-dimensional space defined by temporal and spectral distances from healthy reference speech. Experiments show consistent geometric separation of consonant categories, with Silhouette Coefficients exceeding 0.5 and origin-based ROC-AUC scores above 0.86. Furthermore, evaluations using real dysarthric speech achieved a high ROC-AUC of 0.897 in screening for unclear pronunciations. Perturbation tests confirm orthogonal temporal and spectral shifts, yielding a physically interpretable mapping for rehabilitation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19714v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.