arXiv:2606.23306v1 cs.CL

CTC 오라클 갭의 해부: 음향 고갈과 언어적 회복

The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion and Linguistic Recovery

Ivan Novosad

제출 2026-06-22

한국어 초록

우리는 N-best 가설 선택을 위한 CTC 내부 스코어링의 한계를 연구하고, 음향 신뢰도와 언어적 타당성을 가르는 정보 병목을 규명한다. 11가지 CTC 내부 및 음향 특징 스코어링 전략은 LibriSpeech dev-other에서 G=16일 때 탐욕 디코딩(greedy decoding) 대비 통계적으로 유의미한 WER 개선을 낳지 않는다(모든 p > 0.05). 이 고갈은 체계적이다: 가설 점수와 발화별 WER 간 CTC의 Spearman $ρ$는 G=4에서 -0.574에서 G=128에서 -0.270으로 악화되어, blank-path 확산으로 인한 53% 손실을 보인다. 이는 CTC 내부 표현의 판별 능력이 포화되었음을 보여준다: 음향 신호의 어떤 재결합도 오라클 갭을 메울 수 없다. 병목이 음향이 아니라 언어적임을 확인하기 위해, MBR 디코딩을 통해 도입된 외부 언어 정보가 이를 돌파한다. RoBERTa 의사로그가능도(pseudo-log-likelihood, PLL) 사후분포($τ$=10, G=128)를 사용한 MBR-CER 디코딩은 held-out LibriSpeech test-other에서 5.42% WER를 달성한다(탐욕 디코딩 5.96%, $Δ$=-0.535 pp, p<0.0001, 상대 9.0%). 동일 범위에서 RoBERTa PLL $ρ$는 21%만 악화되어, CTC가 판별력을 잃는 지점에서 판별력을 유지한다. 재튜닝 없이 두 Zipformer 아키텍처, 세 도메인(LibriSpeech, TED-LIUM 3, VoxPopuli), 네 MUSAN 노이즈 수준에 적용하면, 이 방법은 13개 조건 중 11개에서 유의미한 이득을 제공한다. 학습 측면에서, CTC forward-backward 알고리즘을 통한 표준 MWER 학습은 출력 투영(output projection)에서 Rao-Blackwellized REINFORCE를 구현하며(Viterbi 대비 분산 약 3배 낮음). 그러나 시퀀스 수준 미세조정은 거의 수렴한 체크포인트에서 실패한다: CR-CTC에서 네 MWER 구성 모두 붕괴(+6.18~+8.90 pp WER)하며, 0.007 pp의 학습 오라클 갭은 사용 가능한 보상 신호를 제공하지 못한다.

원문 초록

We study the limits of CTC-internal scoring for N-best hypothesis selection and locate the information bottleneck separating acoustic confidence from linguistic plausibility. Eleven CTC-internal and acoustic-feature scoring strategies produce no statistically significant WER improvement over greedy decoding on LibriSpeech dev-other at G=16 (all p > 0.05). The exhaustion is systematic: CTC's Spearman $ρ$ between hypothesis score and per-utterance WER degrades from -0.574 at G=4 to -0.270 at G=128, a 53% loss driven by blank-path proliferation. This establishes that the discriminative capacity of CTC-internal representations is saturated: no recombination of acoustic signals can close the oracle gap. Confirming that the bottleneck is linguistic, not acoustic, external linguistic information introduced via MBR decoding breaks through it. MBR-CER decoding with a RoBERTa pseudo-log-likelihood (PLL) posterior ($τ$=10, G=128) achieves 5.42% WER on held-out LibriSpeech test-other (greedy 5.96%, $Δ$=-0.535 pp, p<0.0001, 9.0% relative). RoBERTa PLL $ρ$ degrades only 21% over the same range, retaining discriminating power where CTC loses it. Applied without retuning across two Zipformer architectures, three domains (LibriSpeech, TED-LIUM 3, VoxPopuli), and four MUSAN noise levels, the recipe gives significant gains in 11 of 13 conditions. On the training side, standard MWER training via the CTC forward-backward algorithm implements Rao-Blackwellized REINFORCE at the output projection (variance about 3x below Viterbi). Yet sequence-level fine-tuning fails at near-converged checkpoints: all four MWER configurations on CR-CTC collapse (+6.18 to +8.90 pp WER), as a training oracle gap of 0.007 pp provides no usable reward signal.

요약

CTC 내부 스코어링은 blank-path 확산으로 N-best 후보가 커질수록 판별력이 급격히 떨어져 greedy 디코딩 대비 유의미한 WER 개선을 내지 못하며, 병목은 음향이 아니라 언어 정보 부재에 있다. RoBERTa PLL 사후분포를 쓴 MBR-CER 디코딩은 LibriSpeech test-other에서 WER 5.42%(탐욕 5.96% 대비 상대 9.0% 감소)를 달성하고 13개 조건 중 11개에서 이득을 보였으나, 거의 수렴한 CR-CTC에서 MWER 시퀀스 수준 미세조정은 WER이 크게 악화된다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.23306v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10592v1cs.CL공통 태그 Language Modelling, Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.