arXiv:2608.08976v1 cs.LG

기계론적 해석가능성을 통한 얼굴 및 음성 기반 레이블 프리 파킨슨병 스크리닝

Label-Free Parkinson's Disease Screening from Face and Voice through Mechanistic Interpretability

Jiaheng Su, Yu Sun

제출 2026-08-10

한국어 초록

파킨슨병(PD)은 두 번째로 흔한 신경퇴행성 질환입니다. 일반적인 머신러닝 스크리닝 방법은 파킨슨병 레이블을 필요로 하지만, 개인정보 보호 문제와 전문가 어노테이션의 필요성으로 인해 가용 데이터가 제한적입니다. 본 연구에서는 고정된 사전학습 인코더(얼굴 표정 비전 트랜스포머 및 HuBERT)만을 기반으로 구축되어 어떠한 파킨슨병 레이블도 적합 과정에 사용되지 않는 레이블 프리(label-free) 얼굴-음성 결합 파킨슨병 스크리닝 방법을 제안하며, 기준 데이터로는 대조군 학습 데이터만을 사용합니다. 음성 모달리티는 정상 음성의 시간 신장 및 숨소리 열화로부터 구축된 합성 구음장애 대조 활성화 추가(CAA) 방향을 사용하며, 얼굴 모달리티는 대조군 임베딩 클러스터에 대한 k-최근접 이웃 이상치 점수를 사용합니다. 또한 본 연구에서는 합성 열화 CAA 탐지기가 합성 질환 방향과 실제 질환 방향 사이의 코사인 유사도가 0을 초과할 때 작동함을 보여주는 사후 분석 기법인 정렬 원리(alignment principle)를 도입합니다. YouTubePD 벤치마크에서 측정한 결과, 이 코사인 유사도는 음성의 경우 +0.37(CAA 작동, AUROC 0.765), 얼굴의 경우 -0.48(CAA 실패, 이상치 탐지 성공, AUROC 0.751)로 나타났습니다. 동일 가중치 후기 융합(late fusion)은 NPV 0.95와 함께 AUROC 0.802(95% CI [0.70, 0.89])에 도달하여, 질환 배제(rule-out) 목적의 선별 분류 해석을 뒷받침합니다. 과적합 감사 결과 음성 탐지기는 깔끔하게 전이되는 반면, 얼굴 측 탐지기 및 이에 따른 융합 AUROC는 외부 검증 전까지는 낙관적일 가능성이 있는 것으로 나타났습니다.

원문 초록

Parkinson's disease (PD) is the second most common neurodegenerative disorder. Typical machine learning screening methods require PD labels, but the available data is limited by privacy concerns and the need for expert annotation. We propose a label-free face-plus-voice PD screen built entirely on frozen pretrained encoders--a face-expression Vision Transformer and HuBERT--in which no PD label touches any fit; the reference is training controls only. The voice modality uses a synthetic-dysarthria contrastive activation addition (CAA) direction built from time-stretch and breathy degradation of healthy speech; the face modality uses a k-nearest-neighbor anomaly score to the control embedding cluster. We introduce the alignment principle, a post-hoc analysis showing that a synthetic-degradation CAA detector works when the cosine similarity between the synthetic and real disease directions exceeds zero. Measured on the YouTubePD benchmark, this cosine is +0.37 for voice (CAA works, AUROC 0.765) and -0.48 for face (CAA fails; anomaly succeeds, AUROC 0.751). Equal-weight late fusion reaches AUROC 0.802 (95% CI [0.70,0.89]) with NPV 0.95, supporting a rule-out triage interpretation. An overfitting audit shows the voice detector transfers cleanly, while the face-side--and thus fused--AUROC is potentially optimistic pending external validation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.08976v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.