Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
원문 초록
Recently, self-supervised pretraining has achieved impressive results in end-to-end (E2E) automatic speech recognition (ASR). However, the dominant sequence-to-sequence (S2S) E2E model is still hard to fully utilize the self-supervised pre-training methods because its decoder is conditioned on acoustic representation thus cannot be pretrained separately. In this paper, we propose a pretrained Transformer (Preformer) S2S ASR architecture based on hybrid CTC/attention E2E models to fully utilize the pretrained acoustic models (AMs) and language models (LMs). In our framework, the encoder is initialized with a pretrained AM (wav2vec2.0). The Preformer leverages CTC as an auxiliary task during training and inference. Furthermore, we design a one-cross decoder (OCD), which relaxes the dependence on acoustic representations so that it can be initialized with pretrained LM (DistilGPT2). Experiments are conducted on the AISHELL-1 corpus and achieve a $4.6\%$ character error rate (CER) on the test set. Compared with our vanilla hybrid CTC/attention Transformer baseline, our proposed CTC/attention-based Preformer yields $27\%$ relative CER reduction. To the best of our knowledge, this is the first work to utilize both pretrained AM and LM in a S2S ASR system.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Coupled Training of Sequence-to-Sequence Models for Accented Speech Recognition
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
비전은 오버헤드가 아니다: 비전-언어 모델에서의 손실 없는 추측 디코딩을 위한 원패스 블록 드래프팅
Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
추측 디코딩(speculative decoding)은 출력을 바꾸지 않으면서 생성을 가속화하지만, 비전-언어 모델(VLM)에서는 자기강화적 순환 구조가 이를 가로막는다. 자기회귀(autoregressive) 드래프터는 드래프트한 토큰마다 순차적인 패스를 거쳐야 하므로 작은 크기를 유지해야 하며, 매 패스마다 이미지에 주의를 기울이기 어렵다. 이 때문에 기존 연구들은 이미지를 압축하거나 숨기는 방식을 택했고, 그 결과 드래프터는 이미지가 결정하는 텍스트에 대해 가장 취약해졌다. 우리는 수정되지 않은 VLM 타겟에서 이러한 순환을 깨는 원패스 블록 드래프터인 GLANCE를 제시한다. GLANCE의 블록-디퓨전(block-diffusion) 헤드는 타겟의 이미 융합된 비전-언어 상태에 대해 단 한 번의 순전파(forward pass)로 블록 전체를 드래프트하며, 드래프트가 얼마나 깊든 멀티모달 컨텍스트를 단 한 번만 읽는다. 타겟은 넓은 후보 트리를 한 번의 패스로 검증하고 자신의 그리디(greedy) 출력을 정확히 커밋한다. 고정된 라운드 예산을 사용하는 하나의 프로덕션 엔진에서, GLANCE는 자기회귀 디코딩보다 최대 3.05배 빠르게 디코딩하며, 평균적으로, 그리고 그라운딩(grounded) 작업에서는 약 11% 더 높은 성능으로 프로덕션 EAGLE3-VL 헤드를 앞선다. 엔트로피 법칙은 드래프팅이 언제 유리한지를 설명하며, 타겟의 다음 토큰 엔트로피가 가장 낮은 그라운딩 작업에서 가장 긴 수용 블록을 예측한다. 코드는 https://github.com/js-lee-AI/GLANCE 에서 확인할 수 있다.
LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증
LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models
하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.