자동 발음 평가(APA)의 최근 발전은 대본 기반 평가에서 자유 형식 평가로의 전환을 이끌었습니다. 그러나 기존 방식들은 종종 강제 정렬(forced alignment)과 별도의 특징(feature) 추출기를 포함하는 다단계 파이프라인에 의존하여 다양한 응답 환경 전반에서의 실용성이 제한됩니다. 이를 해결하기 위해 본 논문에서는 강제 정렬 없이 단어 및 발화 수준의 발음 점수를 공동으로 예측하고자 Whisper의 크로스 어텐션(cross-attention) 메커니즘을 활용하는 새로운 APA 프레임워크인 OpenPA를 제안합니다. 혼합 전사 적응(mixed-transcript adaptation) 및 적응형 대체 가중치 부여를 통해 OpenPA는 단일 모델 내에서 폐쇄형 및 개방형 응답 환경 전반의 이종 전사 텍스트를 수용합니다. speechocean762 데이터셋으로만 학습(training)되었음에도, OpenPA는 도메인 내 폐쇄형 및 시뮬레이션된 개방형 응답 조건에서 평가 대상 시스템 중 가장 강력한 전반적 성능을 달성하는 동시에 MultiPA에 대한 제로샷(zero-shot) 성능을 유지합니다. 구강암 환자 음성에 대한 추가적인 교차 과제 평가는 비원어민 음성을 넘어선 잠재적 적용 가능성을 시사합니다.
본 연구에서는 영구적인 기관루(tracheal stoma)를 가지고 있으며 훈련되지 않은 청자가 알아듣기 힘든 중증 구음장애(dysarthria)를 겪는 체코어 화자를 위해 개인 맞춤화된 자동 음성 인식(ASR) 시스템을 제시합니다. 연구진은 높은 몰입도와 대화의 사실성을 위해 고안된 새로운 "인공 대화(artificial conversation)" 프로토콜을 사용하여 수집한, 해당 화자의 주석이 달린 33시간 분량의 음성을 포함하는 공개 데이터셋을 발표합니다. 또한 Whisper Base를 기반으로 한 다단계 학습(training) 파이프라인을 제안하며, 이는 표준 체코어 음성, 음향적으로 시뮬레이션된 기관절개술 환자 음성, 그리고 해당 화자의 데이터에 대한 미세조정(fine-tuning)으로 구성됩니다. 대본 기반 대화, 질의응답, 자발적 대화라는 세 가지 준실시간(near real-time) 시나리오에 걸쳐 시스템을 평가한 결과, Whisper Base 기준선(baseline) 대비 문자 오류율(Character Error Rate)을 상대적으로 50% 줄였으며, 고립된 발화의 음향 인식에서 화자 보조인들의 평균 인식 정확도를 능가했습니다. 정량적 결과와 화자의 피드백을 통해 입증된 바와 같이, 심각한 장애가 있는 음성에 대해서도 실질적인 도움이 되는 ASR 구현이 가능함을 보여줍니다.
OpenAI의 Whisper와 같이 대규모 사전학습 트랜스포머(transformer) 기반 자동 음성 인식(ASR) 모델을 가지치기(pruning)하는 기법은 디코더를 가지치기하여 종단간(end-to-end) 전사 속도를 크게 향상시킬 수 있어 널리 채택되어 왔습니다. 일례로 {\tt whisper-large-v3-turbo} 변형 모델은 디코더를 32개 층(layer)에서 4개 층으로 줄였으며, Distill-Whisper 또한 유사하게 디코더를 단 2개 층으로 축소했습니다. 인코더 크기를 줄이기 위한 시도에도 일부 관심이 집중되었으나, 널리 채택된 방식은 없었습니다. 이는 압축된 모델을 활용하기 위해 별도의 커스텀 추론(inference) 구현이 필요했기 때문일 수 있습니다. 본 연구에서는 한 층씩 제외(leave-one-layer-out)했을 때의 단어 오류율(WER) 변화를 기준으로 인코더 층의 순위를 매기는 접근법을 제시합니다. 변화를 가장 적게 유발하는 6개 층을 제거하며, 이는 인코더 스택의 $18.5\%$에 해당합니다. 가지치기된 모델은 단순히 층 수가 적어진 더 얕은 인코더이므로 별도의 커스텀 추론 코드가 필요하지 않습니다. 또한 레이블이 없는 단일 언어 음성 데이터를 사용한 지식 증류(distillation)를 수행하여, 제로샷(zero-shot) 층 가지치기로 인해 발생한 성능 저하를 복원합니다. 4개 언어에 대한 평균 WER은 기준선(baseline) $18.2\%$에서 시작하여 제로샷 $21.9\%$ 대비 지식 증류 후 $20.1\%$로 개선됩니다. 본 연구는 모든 코드(https://github.com/rasgaard/whisper-encoder-layer-prune)와 가지치기된 모델(https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned)을 공개합니다.
Whisper와 같은 대규모 자동 음성 인식(ASR) 모델은 메모리 및 추론(inference) 속도 제약이 크게 다른 다양한 하드웨어 전반에 배포되어야 합니다. 본 논문에서는 모델 크기, 시간 해상도, 인코더 토큰(token) 스트라이드, 저순위 적응(low-rank adaptation) 용량, 가중치(weight) 정밀도 및 희소성(sparsity) 패턴의 6가지 차원에 따라 Whisper 배포를 공동으로 매개변수화하는 압축 프레임워크를 제시합니다. 모든 축은 단어 오류율(WER), 추론 FLOPs, 메모리 점유율이라는 세 가지 배포 목표와 관련하여 NSGA-III를 사용해 결합 최적화(optimization)됩니다. 평가된 1,680개의 후보 구성 중 50개 전반에 걸쳐 각 축의 조건부 효과를 특성화하고 단순한 단일 축 스케일링을 능가하는 압축 조합을 식별하는 한편, 1:4 구조화된 희소성은 테스트된 복구 예산 내에서 허용 가능한 정확도를 복구하지 못함을 발견했습니다. 측정된 WER 및 상주 메모리를 보고하고, 분석적 EffFLOPs를 탐색 시간 계산 대리 지표로 사용하며, 측정된 실시간 계수(RTF)를 사용하여 대표적인 추론 구성을 별도로 검증합니다.
최근 자동 음성 인식(ASR) 및 음성 향상(speech enhancement) 분야의 발전은 더 깨끗한 오디오가 더 정확한 전사로 이어져야 한다는 일반적인 믿음을 강화해 왔다. 본 연구에서는 이러한 가정이 현대적인 제로샷 ASR 시스템에서도 성립하는지 검토한다. 우리는 OpenAI Whisper를 이용한 제로샷 전사를 위한 전처리 단계로서 SAM-Audio에 대한 체계적인 실증 연구를 수행한다. 5가지 Whisper 변형을 노이즈가 있는 벵골어 및 영어 음성 데이터셋에서 평가한다. 영어 데이터셋에서 SAM-Audio는 평균 PSNR을 32.28 dB에서 35.99 dB로 높이며, 발화의 71.84%에서 더 높은 PSNR을 달성한다. 그러나 평가된 모든 모델-데이터셋 구성에서 WER과 CER은 증가한다. 벵골어 데이터셋에서 Whisper large-v3의 WER은 65.83%에서 77.35%로, CER은 24.13%에서 34.74%로 증가한다. 영어 데이터셋에서 Whisper base의 WER은 10.53%에서 21.66%로, CER은 4.48%에서 12.50%로 증가한다. 발화 수준 분석은 추가로, 성능 저하가 평가된 표본의 상당 부분에 영향을 미치지만 그 심각도는 Whisper 변형마다 다름을 보여 준다. 이러한 결과는 신호 수준 품질의 향상이 반드시 더 나은 제로샷 ASR 성능으로 이어지지는 않으며, 노이즈 제거(denoising)가 인식 정확도를 낮출 수 있음을 보여 준다.
자동 운율 분절(automatic prosodic segmentation)은 음향 및 언어적 증거로부터 발화 단위 간의 경계를 식별한다. 최근 심층 학습 접근법이 영어에서 강력한 성능을 보이고 있으나, 브라질 포르투갈어(BP)의 자동 분절은 여전히 대부분 규칙 기반 또는 전통적인 기계 학습 방법에 의존하고 있다. 본 논문에서는 SAMPA를 제안한다. SAMPA는 Whisper 기반 분절기로, 브라질 포르투갈어 음성을 전사하면서 종결 운율 경계에 대한 명시적 마커를 삽입한다. NURC-SP 데이터셋의 수동 분절 녹음 데이터로 Whisper large-v3를 파인튜닝하고, MuPe-Diversidades 데이터셋에 대한 분포 외(out-of-distribution) 테스트를 포함하여 다양한 학습 및 테스트 시간 필터링 구성을 평가한다. SAMPA는 다양한 설정에서 경쟁력 있는 경계 탐지 성능을 달성하며, 최상의 모델은 보류 테스트 분할에서 F1=0.731, MuPe-Diversidades에서 F1=0.796을 기록한다. 마지막으로, n-gram 및 음향-시각적 분석을 통해 본 모델이 운율 경계 탐지를 위해 형태통사론적, 의미론적, 운율적 단서를 따름을 보인다.
Whisper 모델의 환각 현상을 설명하기 위해 Spectral Sensitivity Theorem을 제안하며, 층별 이득과 정렬에 의해 지배되는 분산 체제에서 끌림 체제로의 위상 전환을 이론적으로 분석했다. LibriSpeech 기반 적대적 데이터셋으로 Whisper Tiny~Large-v3-Turbo를 검증한 결과, 중간 규모 모델은 Cross-Attention rank가 13.4% 붕괴하는 구조적 해체(Regime I)를, 대규모 모델은 Self-Attention이 rank를 압축하며 음향 증거로부터 분리되는 압축 추구 끌림(Regime II) 상태로 진입함을 확인했다.
자동 음성 인식(ASR) 시스템은 L1(모국어) 음성이 포함된 범용 도메인에서 뛰어난 정확도를 달성했음에도, 강한 채널 노이즈, 비모국어(L2) 영어 억양, 데이터 부족 등의 이유로 항공 교통 관제(ATC)와 같은 도메인에서는 성능이 저하된다. 본 연구에서는 ATC 도메인에서 인식 정확도를 개선하기 위해 실제 데이터 부족 문제를 해결하도록 설계된 음향 특성 시뮬레이션을 포함하는 합성 데이터 생성 파이프라인을 제안한다. 우리의 접근법은 텍스트 음성 변환, 음성 변환(Voice Conversion), L2-to-L1 억양 변환, 그리고 억양이 있는 음성을 시뮬레이션하기 위해 구축한 새로운 제어형 L1-to-L2 억양 변환 프레임워크를 포함하는 신경 생성 기법들의 조합을 활용한다. ATCO2 코퍼스에서 Whisper 모델에 대한 실험 결과, 합성 데이터만으로 미세조정하거나 실제 데이터와 합성 데이터를 혼합하여 미세조정하는 경우 모두, 각각 기본(out-of-the-box) 모델 및 실제 데이터만으로 미세조정한 베이스라인 대비 단어 오류율(word error rate)을 유의미하게 개선함을 보여준다.
독일어 표준 치매 선별 검사 Syndrom-Kurz-Test의 음성 평가에서 언어 하위 검사별 전사 점수와 Whisper 임베딩을 융합한 딥 보정 모델로 전사·채점 오류를 줄이고, 비언어 운동 하위 검사를 생략해도 융합 표현 기반 보완 모델로 전문가 종합 평가를 근사한다. 하위 검사 일부를 빼도 전문가 평가와 강한 상관관계를 유지하며 인지 상태 그룹을 효율적이고 정확하게 분류한다.
음성 파운데이션 모델은 도메인 불일치와 데이터 부족으로 인해 저자원 도메인에서 종종 어려움을 겪습니다. 우리는 엔드-투-엔드 학습 가능한 하드 Gumbel-Softmax 선택기를 통해 Whisper 인코더 층 선택을 자동화하는 도메인 적응 프레임워크인 Gumbel-BEARD를 제안합니다. 이는 수동 튜닝 없이 목표 음향 특성에 동적으로 적응하는 BEST-RQ 목적 함수를 통해 자기지도 적응을 가능하게 합니다. MyST 아동 음성 말뭉치에 대한 실험은 효율성과 확장성을 입증합니다: 미세조정을 위해 10시간의 레이블된 데이터만으로도, 우리의 방법은 전체 133시간 레이블된 세트로 훈련된 완전 지도 기준선(baseline)과 일치합니다. 우리는 MyST에서 Whisper-medium을 사용하여 8.21%, OGI Spontaneous 데이터셋에서 Whisper-small을 사용하여 11.06%라는 새로운 최첨단 단어 오류율(WER)을 달성했습니다. CORAAL에 대한 평가는 최대 6%의 상대 WER 감소를 통해 성인 방언 도메인 이동(domain shift)에 대한 강건성을 추가로 확인시켜 주며, 다양한 저자원 조건에서의 우리 접근 방식의 일반화 가능성을 강조합니다.
단일 발화 내에서 여러 언어가 번갈아 사용되는 코드 스위칭(CS)은 자동 음성 인식(ASR)에서 여전히 어려운 문제로 남아 있습니다. 이 문제를 해결하기 위해, 우리는 CS 핵심 영역에서의 인식 성능을 향상시키는 관심 영역(POI) 인식 대조 학습 프레임워크를 제안합니다. 먼저 기존 문헌의 POI 탐지 방식을 채택하여 CS 구간을 식별하고, ASR N-best 출력 내의 POI를 변조하며 대규모 언어 모델(LLM)로 후보를 확장하여 음향적으로 타당한 근접 오답 가설을 구성합니다. 음향적, 음소적, 텍스트적 제약 조건을 통한 필터링을 통해 어렵지만 타당한 부정 샘플(negatives)을 유지합니다. 마지막으로, POI 가중치가 적용된 교차 엔트로피 앵커 목적함수와 다중 부정 대조 순위 손실(multi-negative contrastive ranking loss)을 함께 사용하여 LoRA로 Whisper-small을 미세조정합니다. CS-FLEURS (cmn-eng) 및 ViMedCSS (vie-eng)에 대한 실험 결과, 표준 LoRA 미세조정과 비교하여 일반 오류율과 CS 인식 오류율 모두에서 2% 이상의 일관된 감소를 보였습니다.