arXiv:2606.18323v1 cs.SD

ASR 자가 검증과 지식 증류를 통한 신뢰할 수 있는 신경망 코덱 텍스트 음성 변환: 모델 및 코덱 간의 거의 0에 가까운 치명적 오류

Reliable Neural-Codec Text-to-Speech by ASR Self-Verification and Distillation: Near-Zero Catastrophic Failures Across Models and Codecs

Ali Asaria, Tony Salomone, Deep Gandhi

제출 2026-06-16

한국어 초록

오픈 소스 자기회귀 신경망 코덱 텍스트 음성 변환(TTS) 모델은 일반적인 입력에서는 훌륭하게 들리지만, 확률적 치명적 오류(catastrophic failures)를 겪습니다. 의미 있는 비율의 발화에서 침묵을 내보내거나, 조기에 종료되거나, 반복적이거나 환각(hallucinated) 내용으로 붕괴됩니다. 우리는 이 오류 모드를 제거하는 것이 비용 효율적임을 보여줍니다. 단일 형식 견고 메트릭(ASR 왕복을 통한 치명적 오류율) 하에서, Best-of-N ASR 자가 검증은 오류를 거의 0으로 만듭니다. 표준 말뭉치(LibriSpeech)에서는 N=2일 때, 어려운 프롬프트 세트에서는 N=4일 때 관찰된 오류가 남지 않습니다. 이는 특정 모델의 인위적 결과물이 아닙니다. 이러한 감소는 4개의 오픈 코덱-TTS 시스템과 3개의 신경망 코덱(XCodec2, SNAC, Mimi)에 걸쳐 재현되며, 4개 중 3개에서 N=2일 때 거의 0의 하한선에 도달합니다. 그런 다음 자가 검증된 동작을 모델에 증류(distilling)하여 추론 시간에 수정 비용을 0으로 만듭니다. 이는 단일 샷 디코딩에서 견고성의 상당 부분을 회복시키며, 테스트 시간 비용 없이 어려운 입력에서 오류 양의 약 52-58%를 줄입니다. 증류 이득은 필요한 곳(어려운 입력)에 집중됩니다. 이미 신뢰할 수 있는 텍스트에서는 개선 여지가 없으며 감지할 수 있는 변화도 없습니다. 대조 비교는 명확한 부정적 결과를 추가합니다. 오프라인 직접 선호 최적화(DPO/IPO)는 일반 지도 학습 증류를 능가하지 못하며, 온라인 반복 변형은 유망하지만 우리의 평가 규모에서는 통계적으로 구별되지 않습니다. 우리는 저항하는 하나의 모델(규모가 명확히 도움이 되지 않은 더 큰 Llasa)과 어떤 자기 증류 방법도 극복하지 못하는 희귀 단어 능력 천장을 정직하게 보고합니다.

원문 초록

Open autoregressive neural-codec text-to-speech (TTS) models sound excellent on typical inputs yet suffer stochastic catastrophic failures: on a meaningful fraction of utterances they emit silence, terminate early, or collapse into repetitive or hallucinated content. We show this failure mode is cheap to remove. Under a single format-robust metric (a catastrophic-failure rate via an ASR round-trip), best-of-N ASR self-verification drives failures to near-zero: no observed failures remain by N=2 on a standard corpus (LibriSpeech) and by N=4 on a hard prompt set. This is not an artifact of one model: the reduction replicates across four open codec-TTS systems and three neural codecs (XCodec2, SNAC, Mimi), reaching the near-zero floor by N=2 on three of the four. We then make the fix free at inference time by distilling the self-verified behaviour into the model, which recovers much of the robustness in single-shot decoding, closing ~52-58% of the failure mass on hard inputs at no test-time cost. The distillation gain concentrates where it is needed (hard inputs); on already-reliable prose there is no headroom and no detectable change. A controlled comparison adds a clean negative: offline direct preference optimization (DPO/IPO) does not beat plain supervised distillation, and an online iterative variant is promising but not statistically separable at our evaluation size. We report honestly the one model that resists (a larger Llasa where scale did not obviously help) and a rare-word capability ceiling that no self-distillation method overcomes

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18323v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.24707v3cs.CL공통 태그 Hallucination, automatic speech recognition asr

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

arXiv:2610.13465v1cs.CV공통 태그 Hallucination, Knowledge Distillation

멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습

When MLLMs miss what humans read: diagnosing and learning to read squint text

멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.

arXiv:2610.02269v1eess.IV공통 태그 Hallucination, Knowledge Distillation

의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류

Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging

응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.

arXiv:2610.02638v1cs.AI공통 태그 Knowledge Distillation, automatic speech recognition asr

디코딩 없는 배치 음성 의사결정: 단일 토큰 감독을 통해 동결된 LLM이 전사본 너머의 음성을 듣게 하다

Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript

전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.

arXiv:2609.27980v1cs.CL공통 태그 Knowledge Distillation, automatic speech recognition asr

6개 층 축소: 레이블 없는 성능 복원을 적용한 Whisper 인코더 가지치기

Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery

OpenAI의 Whisper와 같이 대규모 사전학습 트랜스포머(transformer) 기반 자동 음성 인식(ASR) 모델을 가지치기(pruning)하는 기법은 디코더를 가지치기하여 종단간(end-to-end) 전사 속도를 크게 향상시킬 수 있어 널리 채택되어 왔습니다. 일례로 {\tt whisper-large-v3-turbo} 변형 모델은 디코더를 32개 층(layer)에서 4개 층으로 줄였으며, Distill-Whisper 또한 유사하게 디코더를 단 2개 층으로 축소했습니다. 인코더 크기를 줄이기 위한 시도에도 일부 관심이 집중되었으나, 널리 채택된 방식은 없었습니다. 이는 압축된 모델을 활용하기 위해 별도의 커스텀 추론(inference) 구현이 필요했기 때문일 수 있습니다. 본 연구에서는 한 층씩 제외(leave-one-layer-out)했을 때의 단어 오류율(WER) 변화를 기준으로 인코더 층의 순위를 매기는 접근법을 제시합니다. 변화를 가장 적게 유발하는 6개 층을 제거하며, 이는 인코더 스택의 $18.5\%$에 해당합니다. 가지치기된 모델은 단순히 층 수가 적어진 더 얕은 인코더이므로 별도의 커스텀 추론 코드가 필요하지 않습니다. 또한 레이블이 없는 단일 언어 음성 데이터를 사용한 지식 증류(distillation)를 수행하여, 제로샷(zero-shot) 층 가지치기로 인해 발생한 성능 저하를 복원합니다. 4개 언어에 대한 평균 WER은 기준선(baseline) $18.2\%$에서 시작하여 제로샷 $21.9\%$ 대비 지식 증류 후 $20.1\%$로 개선됩니다. 본 연구는 모든 코드(https://github.com/rasgaard/whisper-encoder-layer-prune)와 가지치기된 모델(https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned)을 공개합니다.

arXiv:2609.21677v2cs.AI공통 태그 Hallucination, Knowledge Distillation

GUARD: Guided Answer-Reasoning Distillation을 통한 대규모 추론 모델의 자연스러운 망각

GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation

최근 대규모 추론 모델(LRM)의 발전으로 머신 언러닝(machine unlearning)이 더욱 어려워졌는데, 이는 최종 답이 나오기 전 중간 사고의 연쇄(CoT) 경로에서 보호 대상 사실이나 안전하지 않은 근거가 드러날 수 있기 때문이다. 기존 언러닝 목적 함수는 대개 타깃 콘텐츠를 억제하거나 내부 표현을 재지향하지만, 망각 이후 궤적이 어떻게 이어져야 하는지는 명시하지 않아 환각(hallucination)에 기반한 대체물, 비정상적인 경계, 또는 반복적인 출력을 낳을 수 있다. 우리는 LRM 언러닝이 원래의 공개를 대체하는 일관된 비공개 CoT와 이에 이어지는 안정적인 거절 형태의 답변으로 이루어진 자연스러운 망각 궤적을 학습해야 한다고 주장한다. 이를 위해 모델이 생성한 안전하지 않은 공개를 안전한 종료(safe-exit) 궤적으로 바꾸고, 안내 토큰(guidance token)으로 동결된 LRM을 정렬(alignment)한 뒤, 이렇게 유도된 행동을 모델 파라미터로 증류(distillation)하는 GUARD(Guided Answer-Reasoning Distillation)를 제안한다. 유출 여부를 넘어 대체 품질을 재는 지표가 부족한 문제를 위해, 망각된 출력의 구조적 안정성, 유창성, 근거 없는 대체물을 반영하는 NFRS(Natural Forgetting Reasoning Score)를 도입한다. R-TOFU와 STAR-1 기반 유해 의도 설정에 대한 광범위한 실험에서 GUARD는 널리 쓰이는 두 증류 LRM에서 안전하지 않은 공개와 개인정보 유출을 크게 줄이면서 추론 유용성을 유지함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.