리더보드는 이기고 분포는 잃다: 저자원 ASR에서의 음향적 협소화 진단 및 완화
Winning the Leaderboard, Losing the Distribution: Diagnosing and Mitigating Acoustic Narrowing in Low-Resource ASR
한국어 초록
저자원 언어에서는 하나의 공개 리더보드가 진전을 가늠하는 유일한 공유 척도인 경우가 많으며, 따라서 리더보드를 향해 최적화하는 것은 곧 하나의 테스트 분포를 향해 최적화하는 것이다. 우리가 whisper-large-v3-turbo에 저랭크 미세 조정을 적용한 모델은 MediaSpeech, Common Voice 17, 그리고 다섯 개 세트로 구성된 터키어 커뮤니티 보드에서 1위를 차지했으며, MediaSpeech에서 단어 오류율 9.02%로 최고 베이스라인의 11.93%를 앞섰다. 그러나 비공개 분할에서는 수정하지 않은 whisper-large-v3에 뒤처졌다. 우리는 이 분할을 증거가 아닌 경보로 간주하며, 주요 발견은 이 분할에 의존하지 않는다. 모델 선택과 독립적으로 구축한 스무 개 조건의 FLEURS-TR 벤치마크에서, 수정하지 않은 베이스 모델은 모든 조건에서 모든 미세 조정 모델을 능가했으며, 다섯 가지 열세 모두 쌍체 부트스트랩에서 0을 넘어서는 것으로 확인되었다. 우리는 이를 음향적 협소화(acoustic narrowing)라고 부른다. 미세 조정이 모델이 잘 처리하는 음향 범위를 축소시키는 현상이다. 핵심 발견은 방법론적인 것이다. 협소화를 탐지하기 위한 우리의 자체 프록시는 이를 드러내기는커녕 오히려 은폐하여, 협소화된 미세 조정 모델을 더 견고한 베이스 모델보다 높게 평가했다. 모델 선택에는 독립적으로 생성된 분포에서 얻은 프록시가 필요하며, 동일한 출처의 데이터를 더 늘리는 것으로는 충분하지 않다. 재구축한 파이프라인은 협소화를 줄인다. 출처가 공개된 더 큰 혼합 데이터, 더 높은 용량의 베이스 모델, 그리고 궤적 평균화를 곁들인 베이스 참조 기반 선택이 그 구성 요소이다. 이 파이프라인은 출처가 동일한 세 축에서 우위를 보이며 FLEURS-TR에서는 8.16% 대 8.26%로 동률을 이루고, 구간은 0을 포함한다. 이러한 동등성은 두 번째 추론 스택과 디코더를 고정한 전체 에폭 조건에서도 유지된다. 이 회복은 하나의 궤적에 해당하며, 검증된 레시피가 아니라 시연이다. 카자흐어에서는 우리가 구축하지 않은 코퍼스에서 역전 현상이 다시 나타난다. 학습 가능한 파라미터 비중을 맞춘 조건에서, 미세 조정은 각각 세 개의 시드에 걸쳐 어텐션 인코더-디코더 모델의 풀 외부 오류를 2.23포인트 높였고, CTC 인코더 전용 모델의 오류는 3.46포인트 낮추었다. 따라서 협소화는 적응 대상 시스템에 따라 달라진다. 우리는 견고성을 우선하는 터키어 ASR 리더보드인 TurkSpeak Bench를 공개한다.
원문 초록
For a low-resource language, one public leaderboard is often the only shared measure of progress, so optimizing toward it means optimizing toward a test distribution. Our low-rank fine-tune of whisper-large-v3-turbo ranked first on MediaSpeech, Common Voice 17 and a five-set Turkish community board, at 9.02% word error on MediaSpeech against 11.93% for the best baseline. On its private split it lost to unmodified whisper-large-v3. We treat that split as an alarm, not evidence; the main finding does not depend on it. On a twenty-condition FLEURS-TR benchmark built independently of our model selection, the unmodified base beats every fine-tune in every condition, and all five deficits clear zero under paired bootstrap. We call this acoustic narrowing: fine-tuning contracts the acoustic range a model serves well. The central finding is methodological: our in-house proxy for detecting narrowing concealed it instead, ranking the narrowed fine-tune above the sturdier base. Model selection needs a proxy from an independently produced distribution; more of the same source will not do. A rebuilt pipeline reduces the narrowing: a larger mixture with disclosed provenance, a higher-capacity base, and base-referenced selection with trajectory averaging. It wins three same-provenance axes and draws level on FLEURS-TR, 8.16% against 8.26%, interval spanning zero. Parity holds under a second inference stack and a full epoch, decoder fixed. The recovery is one trajectory, a demonstration rather than a validated recipe. In Kazakh the inversion reappears on corpora we did not build. With matched trainable-parameter shares, fine-tuning raised out-of-pool error by 2.23 points for an attention encoder-decoder and lowered it by 3.46 for a CTC encoder-only model, across three seeds each. Narrowing thus depends on the system adapted. We release TurkSpeak Bench, a robustness-first Turkish ASR leaderboard.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.18653v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.