arXiv:2004.09347

End-to-End Whisper to Natural Speech Conversion using Modified Transformer Network

Abhishek Niranjan, Mukesh Sharma, Sai Bharath Chandra Gutha, M Ali Basha Shaik

제출 2020-04-20

원문 초록

Machine recognition of an atypical speech like whispered speech, is a challenging task. We introduce whisper-to-natural-speech conversion using sequence-to-sequence approach by proposing enhanced transformer architecture, which uses both parallel and non-parallel data. We investigate different features like Mel frequency cepstral coefficients and smoothed spectral features. The proposed networks are trained end-to-end using supervised approach for feature-to-feature transformation. Further, we also investigate the effectiveness of embedded auxillary decoder used after N encoder sub-layers, trained with the frame-level objective function for identifying source phoneme labels. We show results on opensource wTIMIT and CHAINS datasets by measuring word error rate using end-to-end ASR and also BLEU scores for the generated speech. Alternatively, we also propose a novel method to measure spectral shape of it by measuring formant distributions w.r.t. reference speech, as formant divergence metric. We have found whisper-to-natural converted speech formants probability distribution is similar to the groundtruth distribution. To the authors' best knowledge, this is the first time enhanced transformer has been proposed, both with and without auxiliary decoder for whisper-to-natural-speech conversion and vice versa.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09598v2cs.CL공통 태그 Speech Recognition, Decoder

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

arXiv:2607.05364v2cs.CL공통 태그 Speech Recognition, Decoder

REDDIT: 리플레이 기반 분포 편집을 통한 ASR 모델 생성 타임스탬프 드리프트의 망각 없는 교정

REDDIT: Correcting Model-Generated Timestamp Drift in ASR without Forgetting via Replay-Based Distribution Editing

현대의 자기회귀(autoregressive) 자동 음성 인식(ASR) 시스템은 디코딩된 토큰으로 타임스탬프를 출력할 수 있으며, 이를 통해 프레임 수준 정렬기나 추론 시 후처리 없이도 타임스탬프가 포함된 전사(transcription)가 가능하다. 본 연구에서는 이렇게 생성된 타임스탬프가 긴 비음성(non-speech) 구간에 걸쳐 드리프트될 수 있음을 보인다: 전사 결과는 그럴듯하게 보일 수 있지만, 디코딩된 시간 축이 실제 오디오에서 멀어진다. 우리는 자체 구축한 gap 및 long-gap 벤치마크를 사용하여, 타임스탬프를 생성하는 15개의 ASR 및 오디오-언어 시스템에 대해 이 비음성 유발 타임스탬프 드리프트를 연구한다. 단순한 타임스탬프 교정 미세조정은 정렬을 개선하지만 비대상 ASR 동작을 심각하게 저하시킬 수 있으며, 이는 망각 문제를 드러낸다. 우리는 REDDIT(REplay-based Distribution eDITing)을 제안한다. 이는 타임스탬프를 교정하면서 파국적 망각(catastrophic forgetting)을 방지하는 경량 2단계 사후 학습 프레임워크로, 먼저 비타임스탬프 토큰에 대해 동결된 기반 분포에 맞추면서 모델 자체의 리플레이된 디코더 컨텍스트 하에서 타임스탬프 목표를 편집하고, 이후 짧은 편집된 접두 문맥(edited-prefix) 정제 단계를 적용한다. 이 프레임워크에서는 VAD로 트리밍된 음성 구간과 삽입된 비음성 구간 및 알려진 연결 오프셋을 결합하여, 인간 전사본이나 인간 타임스탬프 어노테이션 없이 교정 지도 학습 신호를 구성한다. Whisper-tiny에서, 34.9시간의 목적별 교정 오디오를 사용하고 모델 파라미터의 1.6%만 업데이트하여, long-gap mIoU를 38.7%에서 95.0%로 높이고 mixed-gap 도메인 외 AAS를 2752 ms에서 223 ms로 줄이면서, CV-en MER을 41.3%로 유지하였다(일반 SFT 디코더 튜닝의 524.2%와 비교).

arXiv:2607.05612v1cs.CL공통 태그 Speech Recognition, Decoder

현대 엔드-투-엔드 음성 인식에서 언어 모델 퍼플렉시티와 ASR 단어 오류율 간의 관계 재고

Revisiting the Relation Between Language Model Perplexity and ASR Word Error Rate for Modern End-to-End Speech Recognition

언어 모델(LM) 퍼플렉시티(PPL)는 역사적으로 자동 음성 인식(ASR) 단어 오류율(WER)의 대리 지표로 사용되어 왔으며, 선행 연구에서는 로그-로그 공간에서 대략 선형 관계를 보고하였다. 현대 엔드-투-엔드 ASR 시스템은 이미 내부 언어 모델링 능력을 갖추고 있고, 외부 언어 모델 없이 평가되는 경우가 많으며, 다양한 인식 전략을 통해 신경망 LM 및 대규모 언어 모델(LLM)과 결합될 수 있어 이러한 가정에 의문을 제기한다. 본 논문은 현대 ASR 시스템에서 PPL과 WER 간의 관계를 재고한다. 외부 LM이 현재 엔드-투-엔드 ASR 시스템을 여전히 개선하는지, PPL-WER 관계가 로그-로그 공간에서 선형성을 유지하는지, 인코더 컨텍스트 길이가 이 관계에 어떤 영향을 미치는지, 그리고 LLM 퍼플렉시티가 표준 신경망 LM에서 관찰된 경향에 어떻게 부합하는지를 연구한다. 또한 어텐션 기반 인코더-디코더 시스템에서의 내부 언어 모델링(ILM)을 조사하고, ILM 차감이 관찰된 PPL-WER 관계를 변화시킴을 보임으로써, 외부 LM 품질의 영향을 해석할 때 디코더의 내부 LM을 반드시 고려해야 함을 밝힌다.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.