arXiv:2609.27289v1 cs.CL

Ruby-ASR: 정서법과 어휘 읽기의 결합 인식을 위한 증거 보존 감독

Ruby-ASR: Evidence-Preserving Supervision for Joint Orthographic and Lexical-Reading Recognition

Hao Shi, Yun Liu, Xuehao Yang, Jun Liu, Chuanbo Hua, Xuanjun Chen, Lianbo Liu, Shiao Zhu, Zixiong Su

제출 2026-09-24

한국어 초록

기존 일본어 자동 음성 인식(ASR)은 정서법 전사로 감독되지만, 동일한 표기 형태가 발화에서 실현되는 서로 다른 어휘 읽기에 대응할 수 있다. 이러한 발화는 동일한 타깃을 받으므로 읽기 구별은 감독 인터페이스에 포함되지 않으며, 사후적인 텍스트 전용 grapheme-to-phoneme 변환으로는 신뢰하게 복구할 수 없다. 우리는 Ruby-ASR을 제안하며, 이는 기존 타깃을 구간에 묶인 정서법–어휘 읽기 시퀀스로 정교화한다. 문장 전체의 정서법 출력과 음운론적 출력을 분리하는 방식과 달리, ruby 표현은 각 표기 구간을 실현된 읽기에 국소적으로 결합하고 두 관점 모두를 결정적으로 복구할 수 있게 한다. 자막 스타일 및 속기(verbatim) 스타일 전사 규약 하에서 Qwen3-ASR 백본으로 타깃을 구현하고, 모라(mora) 수준 CTC 목적 함수가 단조(monotonic) 읽기 감독을 보조한다. 다섯 개의 일본어 벤치마크에 걸친 실험 결과는 인식 타깃을 정교화하면 가독 가능한 정서법 전사를 희생하지 않고 어휘 읽기 복구를 개선할 수 있음을 보여 준다. 체크포인트와 추론 코드를 공개한다.

원문 초록

Conventional Japanese automatic speech recognition (ASR) is supervised by an orthographic transcript, although the same written form can correspond to different lexical readings realized in speech. Such utterances receive an identical target, so their reading distinction is absent from the supervision interface and cannot be recovered reliably by post-hoc text-only grapheme-to-phoneme conversion. We present Ruby-ASR, which refines the conventional target into a span-bound orthographic--lexical-reading sequence. Unlike separate full-sentence orthographic and phonological outputs, the ruby representation locally binds each written span to its realized reading and permits deterministic recovery of both views. We instantiate the target under subtitle-style and verbatim-style transcription conventions using a Qwen3-ASR backbone; a mora-level CTC objective provides auxiliary monotonic reading supervision. The experimental results across five Japanese benchmarks show that refining the recognition target can improve lexical-reading recovery without sacrificing readable orthographic transcription. We release the checkpoints and inference code.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27289v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2509.14653v2cs.CL공통 태그 speech-recognition, automatic speech recognition asr, ctc

UMA-Split: 영어와 중국어 비자기회귀 음성 인식을 위한 단일 모드(unimodal) 집합

UMA-Split: unimodal aggregation for both English and Mandarin non-autoregressive speech recognition

본 논문은 영어와 중국어 음성 인식 모두에 적용 가능한 단일 모드(unimodal) 집합(UMA) 기반 비자기회귀 모델을 제안합니다. 기존 UMA는 일반적인 연결주의 시간 분류(CTC)보다 더 나은 표현을 학습하기 위해 동일한 텍스트 토큰에 해당하는 음향 프레임을 (먼저 단조 증가했다가 감소하는 단일 모드 가중치를 사용하여) 명시적으로 분할하고 집합합니다. 그러나 이는 중국어에서만 잘 작동합니다. 영어와 같은 다른 언어에서는 어려움을 겪는데, 이는 하나의 음절이 여러 개의 세분화된 토큰으로 토큰화되거나, 토큰이 3개 미만의 음향 프레임에 걸쳐 있어 단일 모드 가중치를 형성하지 못하기 때문입니다. 이 문제를 해결하기 위해, 우리는 CTC 손실을 계산하기 전에 각 집합된 프레임에서 두 개의 토큰을 생성하는 간단한 분할 모듈을 통해, 각 UMA 집합 프레임이 여러 토큰에 매핑되도록 허용하는 방법을 제안합니다.

arXiv:2606.30237v2cs.CL공통 태그 speech-recognition, automatic speech recognition asr

네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구

Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study

개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.

arXiv:2605.28211v2cs.CL공통 태그 speech-recognition, automatic speech recognition asr

유용한 컨텍스트가 유출될 때: 도메인 적응 ASR의 프라이버시 위험

When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR

SpeechLLM은 도메인 맞춤화가 일반적인 전문 환경에서 점점 더 많이 배포되고 있다. 사용자는 민감한 정보가 담긴 컨텍스트를 프롬프트로 제공하거나, 자체 보유한 녹음 데이터로 미세조정하거나, 혹은 두 가지를 모두 수행한다. 본 연구는 이러한 맞춤화에서 간과되어 온 프라이버시 위험을 규명하고 체계적으로 조사한다. 도메인 특화 용어를 인식하도록 적응된 모델은 다른 단어가 발화되었더라도 컨텍스트나 학습 데이터에 있는 발음이 유사한 단어를 전사하도록 유도될 수 있으며, 그 결과 비공개 정보가 유출된다. 이 위험을 평가하기 위해 우리는 이러한 공격의 벤치마크를 자동으로 구성하는 기법을 제안하고, 이를 적용하여 프롬프트와 미세조정이라는 두 가지 맞춤화 메커니즘 전반의 유출률을 측정한다. 두 메커니즘 모두 측정 가능한 수준의 유출을 일으키며, 함께 사용하면 유출이 누적된다. 또한 프롬프트 수준의 완화 전략을 평가하고 맞춤화 접근법별 정확도-유출 간 트레이드오프를 분석한 결과, 컨텍스트 프롬프트 없이 미세조정하는 방식이 가장 좋은 균형을 제공함을 확인하였다.

arXiv:2607.01733v2cs.CL공통 태그 speech-recognition, automatic speech recognition asr

ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

음성-LLM(Speech-LLM) 통합은 방대한 텍스트 사전학습(pre-training)을 활용하여 유망한 결과를 보여주었으나, 자동 음성 인식(ASR)에 대한 구체적인 이점은 여전히 불분명하다. 본 연구에서는 지도 ASR 학습(training) 데이터가 증가함에 따라 LLM 사전확률(prior)의 기여도가 덜 뚜렷해지며, 단순한 음성-텍스트 공동 학습은 텍스트 지식을 충분히 활용하지 못한다는 점을 관찰하였다. 이에 따라 연속적인 입력을 수용하는 Speech-LLM 아키텍처를 위해 정렬된 쌍 내에서 단어 및 세그먼트 수준의 음성-텍스트 인터리빙(interleaved) 시퀀스를 구성하는 ASR 지향 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간의 ASR 데이터에 대한 실험 결과, ASR 전용 및 음성-텍스트 공동 학습 베이스라인 대비 일관된 개체명(entity) 정확도 향상을 보였다. JSTIP은 합성 음성-텍스트 쌍과 비교하여 도메인 전사 텍스트를 사용할 때 동등한 수준의 개체명 인식 성능을 달성하여 도메인 적응을 단순화한다. 텍스트 사전학습 및 도메인 텍스트 데이터의 이점을 바탕으로, JSTIP은 의료 개체명 인식에서 오픈소스 ASR 및 Speech-LLM 시스템과 경쟁력 있는 성능을 보인다. 나아가 제로샷(zero-shot) 음성 질의응답 양상은 인터리빙이 음성-텍스트 모달리티 간극을 줄이고 LLM의 생성적 사전확률을 보존함을 시사하며, 이는 ASR 태스크에서 개체명 성능이 향상된 이유일 가능성이 높다.

arXiv:2607.09598v2cs.CL공통 태그 speech-recognition, automatic speech recognition asr

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.