Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
원문 초록
In this work, we introduce a simple yet efficient post-processing model for automatic speech recognition (ASR). Our model has Transformer-based encoder-decoder architecture which "translates" ASR model output into grammatically and semantically correct text. We investigate different strategies for regularizing and optimizing the model and show that extensive data augmentation and the initialization with pre-trained weights are required to achieve good performance. On the LibriSpeech benchmark, our method demonstrates significant improvement in word error rate over the baseline acoustic model with greedy decoding, especially on much noisier dev-other and test-other portions of the evaluation dataset. Our model also outperforms baseline with 6-gram language model re-scoring and approaches the performance of re-scoring with Transformer-XL neural language model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Coupled Training of Sequence-to-Sequence Models for Accented Speech Recognition
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.
오류율만으로는 충분하지 않다: 저자원 음성 인식에서 데이터 증강의 비용
Error Rate is Not Enough: Costs of Augmentation in Low-Resource ASR
데이터 증강(data augmentation)은 저자원 자동 음성 인식(ASR)의 표준적인 관행이지만, 그 이점은 거의 항상 종합 오류율로만 보고되어 특정 방법이 왜, 그리고 언제 도움이 되는지는 불분명한 상태로 남아 있습니다. 본 연구에서는 4개의 저자원 언어와 5가지 데이터 규모의 영어를 대상으로 기존 오디오를 수정하는 두 가지 증강 기법(속도 섭동(speed perturbation) 및 SpecAugment)과 텍스트 전사본을 수정한 후 오디오를 합성하는 두 가지 기법을 교차 적용했습니다. 음소 수준에서 오류를 분석한 결과, 이들 방법이 상호보완적인 이유로 도움이 된다는 점을 발견했습니다. SpecAugment는 가장 안정적인 종합 성능 향상을 보였으나 성조 및 구개음화 오류를 증가시켰고, 텍스트 기반 방법은 자음 삽입 오류를 유발했습니다. 결합 시 각 방법은 상대방이 유발한 오류를 줄여줍니다. 이러한 상호보완성은 예측 가능합니다. 성조와 구개음화는 각각 단일 음향 속성으로 신호화되며 학습 시 가장 낮은 빈도로 발생(가장 낮은 학습 노출도)하는데, 단어 빈도를 평탄화(flatten)하는 텍스트 기반 방법은 이들의 빈도를 37~38% 높여 종합 오류를 더욱 개선하는 동시에 해당 오류를 되돌립니다. 방법들을 결합하여 얻은 성능 향상은 개별 개선점들의 합을 초과하지만, 이러한 초부가성(superadditivity)은 100시간 규모에서 사라져 상호보완성이 저자원 영역에 국한됩니다. 특정 오류 유형이 중요한 경우, 학습 전 측정이 가능한 학습 노출도와 음향 속성에 따라 데이터 증강 기법을 선택할 것을 권장합니다.
LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증
LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models
하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.
풀 대역폭 트랜스포머
Full-bandwidth transformer
자기회귀(autoregressive) 트랜스포머는 두 축을 따라 계산을 수행합니다. 즉, 생성된 토큰들에 걸친 수평적 축과 모델 깊이를 통과하는 수직적 축입니다. 조밀한 어텐션(dense attention)은 각 토큰이 과거 정보에 폭넓게 수평적으로 접근할 수 있도록 하지만, 디코딩 단계 사이의 수직적 피드백 채널은 여전히 좁습니다. 즉, 최상위 층 은닉 상태(hidden state)는 버려지고 샘플링된 토큰만이 스택의 바닥으로 되돌아갑니다. 본 연구에서는 잠재 피드백(latent feedback)을 통해 이 채널을 넓히는 풀 대역폭 트랜스포머(full-bandwidth transformer)를 소개합니다. 이는 각 디코딩 단계에서 이전 최상위 층 은닉 상태를 게이트 선형 유닛(GLU)을 통해 샘플링된 토큰 임베딩과 융합한 후 다음 입력으로 다시 공급합니다. 잠재 피드백을 통해 언어화되지 않은(non-verbalized) 계산이 갱신된 깊이 예산을 가지고 스택에 다시 진입할 수 있으며, 동시에 표준 트랜스포머 아키텍처, KV 캐시, 언어 모델링 목표를 그대로 유지합니다. 병렬 티처 포싱(teacher forcing)을 잃지 않고 풀 대역폭 트랜스포머를 학습시키기 위해, 사전학습 후반부에 잠재 피드백을 도입하고 안정성을 위해 더 깊은 피드백 패스를 적은 비율로 혼합하는 스케줄링된 멀티패스 목표를 사용합니다. 1B 매개변수의 풀 대역폭 트랜스포머를 최대 400B 토큰으로 학습시킨 결과, 잠재 피드백이 검증 손실, 5-샷(5-shot) 언어 모델 평가, 수학 및 코딩 생성, 인스트럭션 튜닝 성능을 향상시키는 것을 확인했습니다. 토큰당 디코딩 오버헤드가 거의 발생하지 않으면서도, 풀 대역폭 트랜스포머는 약 1.5배 더 많은 토큰으로 학습된 표준 트랜스포머와 일치하거나 이에 근접한 성능을 보이며, 오프-정책 템플릿이 제공되지 않을 때 더 짧은 추론을 생성해 냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.