기존 일본어 자동 음성 인식(ASR)은 정서법 전사로 감독되지만, 동일한 표기 형태가 발화에서 실현되는 서로 다른 어휘 읽기에 대응할 수 있다. 이러한 발화는 동일한 타깃을 받으므로 읽기 구별은 감독 인터페이스에 포함되지 않으며, 사후적인 텍스트 전용 grapheme-to-phoneme 변환으로는 신뢰하게 복구할 수 없다. 우리는 Ruby-ASR을 제안하며, 이는 기존 타깃을 구간에 묶인 정서법–어휘 읽기 시퀀스로 정교화한다. 문장 전체의 정서법 출력과 음운론적 출력을 분리하는 방식과 달리, ruby 표현은 각 표기 구간을 실현된 읽기에 국소적으로 결합하고 두 관점 모두를 결정적으로 복구할 수 있게 한다. 자막 스타일 및 속기(verbatim) 스타일 전사 규약 하에서 Qwen3-ASR 백본으로 타깃을 구현하고, 모라(mora) 수준 CTC 목적 함수가 단조(monotonic) 읽기 감독을 보조한다. 다섯 개의 일본어 벤치마크에 걸친 실험 결과는 인식 타깃을 정교화하면 가독 가능한 정서법 전사를 희생하지 않고 어휘 읽기 복구를 개선할 수 있음을 보여 준다. 체크포인트와 추론 코드를 공개한다.
자동 음성 인식은 토큰을 한 번에 하나씩 출력하는 자기회귀(autoregressive) 디코더가 주류를 이룬다. 우리는 대신 이산 확산 언어 모델이 음성을 전사할 수 있는지, 즉 적은 수의 디노이징(denoising) 단계에 걸쳐 전체 전사문을 병렬로 정제할 수 있는지를 묻는다. 우리는 DiffusionGemma를 위한 오디오 네이티브 인터페이스를 학습한다. DiffusionGemma는 최근 확산 언어 모델에서 흔한 흡수 마스크(absorbing-mask) 방식 대신 균일한 무작위 토큰 이산 확산으로 텍스트를 생성하는 260억 파라미터 규모의 전문가 혼합(MoE) 모델이다. 고정된 Whisper 인코더가 음향 특징을 제공하고, 경량 프로젝터가 이를 모델 임베딩 공간으로 매핑하며, 저랭크(low-rank) 어댑터가 고정된 백본이 새로운 모달리티에 어텐션할 수 있게 한다. 약 4,200만 개의 파라미터가 학습되며, 이는 백본의 0.16%에 해당한다. 우리는 자연스러운 학습 목적 함수가 오디오를 그라운딩하지 못한다는 것을 발견한다. 그 이유는 그래디언트가 이미 프로젝터를 배제한 어텐션을 통해서만 프로젝터에 도달하기 때문이다. 고정된 출력 헤드를 통해 적용된 연결주 시간 분류(connectionist temporal classification, CTC) 손실이 이 교착 상태를 해소한다. 그 결과 모델은 LibriSpeech test-clean에서 6.6%의 단어 오류율(word error rate, WER)을 달성하고, 발화 길이와 무관하게 대략 8번의 병렬 단계로 전사하며, 6개 언어로 학습된 단일 어댑터를 사용한다. 여기서는 영어, 힌디어, 북경어(만다린)에 대해 이를 평가한다.
Aligner-Encoder 기반 종단간 ASR(E2E ASR)에서는 인코더 상층에서 음성-텍스트 정렬(alignment)이 급격히 형성되어 긴 발화에서 학습이 불안정해지는 문제가 있다. InterAligner는 중간층 Aligner 목적함수와 InterCTC를 결합해 깊이에 걸쳐 정렬을 점진적으로 유도하며, LibriSpeech 17층 Conformer에서 단어 오류율(WER)을 test-clean/other 기준 5.0/7.8에서 3.1/5.6으로 낮추었고 긴 발화에서 개선폭이 가장 컸다.
영어·중국어 음성 인식에서 기존 단일 모드 집합(UMA)이 BPE 등 세분화 토큰과 짧은 프레임 구간 때문에 성능이 떨어지는 문제를, 집합 프레임마다 두 토큰을 생성하는 분할 모듈로 해결한 UMA-Split 비자기회귀 모델을 제안한다. LibriSpeech와 AISHELL-1에서 다른 고급 비자기회귀 모델을 능가하며, 하이브리드 CTC/어텐션 자기회귀 모델과 유사한 수준의 인식 성능을 달성한다.