PyTorchKR Papers

최신 논문

총 529편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.02893v1cs.SD

음성 네이티브 LLM은 좌절을 듣지만 귀 기울이지는 않는다

Voice-Native LLMs Hear Frustration but Do Not Listen to It

사용자는 말의 내용과 말하는 방식 모두에서 좌절을 드러내며, ASR 전사문 대신 음성을 직접 듣는 음성 네이티브 모델은 이 둘을 모두 인식할 수 있다. 기존 평가는 성능이 변하지 않는 것을 인식 여부를 확인하지 않은 채 강건성으로 해석한다. 우리는 Brunswik의 렌즈 모델에 따라, 동일한 오디오에서 좌절이 표현되는지, 인식되는지, 활용되는지를 측정한다. 353개 과제에 대해 항목 내 2x2 설계로 좌절 어휘와 좌절 음성을 교차시키고, 1,412개 클립을 VoxAffect로 공개한다. 8개 모델 전반에서 출력은 강건해 보이며, 7개 모델에서 정확도에 대한 음성 효과가 검출되지 않았다. 중립적 어휘에서 8개 모델 모두 좌절 음성을 좌절로 분류한 클립은 최대 3.1%였으나, 그중 7개 모델은 연기된 분노를 클립의 73~100%에서 탐지하였고 인간 청취자는 판단의 65.3%에서 음성을 올바르게 분류하였다. 그럼에도 선형 프로브는 오픈 웨이트 모델 2개의 오디오 인코더에서 쌍별 정확도 0.67과 0.69로 좌절 음성을 디코딩하며, 상용 모델에서도 어휘가 일치하면 음성이 인식된 좌절을 높인다. 따라서 모델은 좌절 음성을 듣지만 귀 기울이지는 않으며, 클립의 40~75%에서 인식되는 좌절 어휘에 대한 불변성은 진정한 강건성이다. 우리의 연구는 https://github.com/Astarojth/hear-not-listen 에서 공개되어 있다.

arXiv:2610.41512v1cs.CV

오디오-이미지-기호 음악 검색을 위한 트랜스포머 인코더의 매개변수 효율적 미세 조정

Parameter-Efficient Fine-Tuning of Transformer Encoders for Audio-Image-Symbolic Music Retrieval

악보 기반 멀티모달 음악 검색은 각 모달리티 내에서 변별력이 있으면서 오디오 녹음, 악보 이미지, 기호 악보 간에도 호환되는 표현을 필요로 한다. 본 논문은 사전학습된 음악 인코더를 적응시키기 위한 매개변수 효율적 미세 조정(PEFT)의 효과를 조사하고, 모달리티별 향상이 더 나은 멀티모달 표현으로 이어지는지 검토한다. TriScore와 Musical Theme Dataset에서 아홉 개의 사전학습된 오디오, 이미지, 기호 악보 인코더에 대해 전체 미세 조정, LoRA, QLoRA를 비교한다. 인코더는 먼저 고정된 인코더의 선형 프로빙을 기준으로 삼아 지도 단일 모달 분류를 통해 평가·선정된다. 이어서 인코더 적응과 과제별 공유 투영을 교차시키는 통제된 2x2 설계를 도입하여, 투영 전후의 고정 표현과 적응된 표현을 비교한다. 18개의 모달리티-목표 조합 중 14개에서 LoRA 또는 QLoRA가 선택되며, 훨씬 적은 매개변수를 최적화하면서도 전체 미세 조정과 대등하거나 더 나은 성능을 보이는 경우가 많다. 그러나 이러한 단일 모달 이득이 멀티모달 분류로 균일하게 전이되지는 않는다. 적응과 투영은 TriScore의 작곡가 분류에서는 상호 보완적이고, TriScore의 악기 분류와 Musical Theme Dataset의 악기 및 앙상블 과제에서는 대체로 중복적이며, Musical Theme Dataset의 작곡가 분류에서는 부분적으로 간섭한다. TriScore에서 적응 및 투영을 거친 최종 제목 표현은 곡 수준 검색을 지원하며, 평균 Top-5 및 Top-10 정확도는 각각 55.32와 64.68에 도달한다. 교차 모달 배제 및 이웃 분석은 투영된 공간에 강한 모달리티별 국소 구조가 있음을 추가로 보여준다. 종합적으로 PEFT는 전체 미세 조정에 대한 효과적이고 계산 효율적인 대안이지만, 단일 모달 변별력 향상만으로 더 나은 멀티모달 조직이 보장되는 것은 아니다.

arXiv:2610.41292v1cs.CL

전사에서 재구성으로: 근거 기반 생성형 음성 인식의 정의와 벤치마크

From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition

음성 언어 모델은 자동 음성 인식(ASR)을 전사에서 범용 음성-텍스트 생성으로 확장했다. 그러나 기존 벤치마크는 여전히 발화당 하나의 정답 전사본을 가정하며, 이 가정은 모델이 읽기 쉽거나 서식화되거나 구조화된 출력을 생성할 때 한계를 보인다. 본 연구에서는 음성 인식을 단일 전사본이 아니라 의미적으로 근거가 있는 텍스트를 생성하는 것으로 재정식화한 근거 기반 생성형 음성 인식(Grounded Generative Speech Recognition, GSR)을 제안한다. 우리는 입력 음성이 뒷받침하는 모든 유효한 텍스트 실현을 특징짓는 근거 기반 재구성 공간을 정의하고, 문자 그대로의 전사, 정규 재구성, 의미적 재구성, 음성 근거 기반 구조화를 포함하는 4단계의 재구성 능력 계층을 수립한다. 이 정식화를 바탕으로, 정확한 전사 일치를 넘어 생성형 음성 인식 시스템을 평가하도록 설계된 최초의 포괄적 벤치마크인 GSR-Bench를 제시한다. GSR-Bench는 정제된 회의 전사, 방언 간 번역, 문맥 인식 음성 이해, 무음 또는 잡음 음향 조건에서의 강건성 등 다양한 시나리오를 다룬다. 단어 수준 평가 지표의 한계를 해결하기 위해, 음성 근거성 평가와 LLM 기반 의미 판정을 결합한 다차원 평가 프레임워크를 개발하였으며, 그 신뢰성은 인간 선호 연구를 통해 검증된다. 기존 ASR 시스템부터 종단간 Speech-LLM에 이르는 대표적 아키텍처에 대한 광범위한 실험은 전사 충실도와 생성적 재구성 능력 사이의 근본적인 상충 관계를 보여 준다. 또한 분석을 통해 음향 환각, 근거 없는 생성, 지시 이탈 등 핵심적인 실패 유형을 규명하여, 향후 근거 기반 생성형 음성 시스템의 설계와 평가에 대한 통찰을 제공한다.

arXiv:2610.40883v1cs.AI

오디오 거대 언어 모델의 멀티모달 음성 감정 인식에 대한 불일치 인식 평가

Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models

음성 상호작용형 거대 언어 모델은 화자가 무엇을 말하는지와 어떻게 말하는지를 모두 처리하지만, 두 채널이 항상 일치하는 것은 아니다. 우리는 이러한 불일치가 음성 감정 인식을 저하시키는지 묻는다. 텍스트와 오디오를 공유된 감정가-각성도-지배도 공간에 사상하고, 두 표현 사이의 거리를 2성분 가우시안 혼합을 통해 연속적이고 임계값이 없는 불일치 점수로 변환하며, 이 점수를 인간의 판단에 대해 검증한다. 우리는 연기된 음성, 대화 음성, 자발적 음성(eNTERFACE'05, MELD, CMU-MOSEI)에 대해 오디오를 처리할 수 있는 세 모델을 평가한다. 모달리티 전반에서 모델을 고정했을 때, 정답 감정과 특징 공간에서의 거리를 통제한 후에도 오디오가 존재하는 한 모든 코퍼스에서 불일치가 오류의 오즈를 높인다. 동일한 특징으로 학습한 지도 분류기는 반대로 행동하는데, 이는 어려움이 신호 자체가 아니라 이들 모델이 원시 증거를 결합하는 방식에 있음을 시사한다. 텍스트 전용 효과는 신뢰할 수 없다. 전사문을 읽는 모델만 교체해도 한 코퍼스에서 그 부호가 뒤바뀐다. 감정 어휘 사전 없이 점수를 재구성해도 핵심 결과가 재현되며, 여섯 가지 더 단순한 대안 중에서는 세 코퍼스 모두에서 오류를 예측하는 유일한 무레이블 점수이다. 코드, 데이터 표, 프롬프트를 공개한다.

arXiv:2610.40759v1cs.SD

TAPE: 범용 오디오 이펙트 표현 학습

TAPE: Learning General Audio Effect Representations

뮤지션과 믹싱 엔지니어는 참조 녹음에서 들리는 신호 처리 체인을 파악한 뒤 이를 새로운 소재에 맞게 적용할 수 있는 경우가 많다. 우리는 처리된 참조 오디오만으로 이러한 처리를 추정하는 TAPE(Transformations of Audio Parameter Embeddings)를 제시한다. 여덟 가지 주요 이펙트 계열의 프로세서를 식별하도록 학습된 인코더가 참조를 임베딩으로 매핑한다. 미분 가능한 디지털 신호 처리(DSP) 체인은 이 임베딩을 한 번의 순전파로 편집 가능한 파라미터로 디코딩하고, 이를 처리되지 않은 다른 녹음에 적용한다. 이 체인의 모듈은 이퀄라이제이션, 컴프레션, 웨이브셰이핑, 작은 잔차 네트워크, 리버브이다. TAPE는 단일 단계 회귀의 기존 최고 성능인 DeepAFx-ST보다 낮은 스펙트럼 오차를 달성하며, ST-ITO와 유사한 체인에 대한 예제별 탐색보다도 낮은 스펙트럼 오차를 달성하면서 그 탐색보다 275$\times$ 빠르게 동작한다. 디코더가 DSP 파라미터를 출력하므로 이 체인은 인과적으로도 실행될 수 있다. 학습된 가중치를 사용한 C++ 구현은 128샘플 버퍼를 실시간보다 1.8$\times$ 빠르게 처리했으며 놓친 데드라인은 없었다.

arXiv:2610.40738v1cs.SD

Apriel Voice 27B Preview: 음성, 추론, 도구 사용을 위한 오픈 모델

Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use

유능한 음성 어시스턴트는 단어를 인식하는 것을 넘어 요청을 이해하고, 맥락에 대해 추론하며, 대화를 이어 가고, 도구를 통해 행동해야 한다. 우리는 텍스트 및 이미지 입력 모달리티를 유지하면서 이러한 능력을 공유 추론 백본 안에 통합한 오픈 음성-언어 모델 Apriel Voice 27B Preview를 제시한다. 사후 훈련된 Gemma 4 26B-A4B 체크포인트를 기반으로 구축된 Apriel Voice는 별도의 대화 모델 없이 음성을 직접 처리하여 응답과 도구 호출을 모두 생성한다. 우리는 모델을 음성에 적응시키기 위한 2단계 훈련 절차를 도입한다. 첫 번째 단계는 음성 인터페이스를 구축하고, 두 번째 단계는 지도 미세 조정, 텍스트 리플레이, 소스에 따라 달라지는 교차 엔트로피 및 순방향 Kullback--Leibler 발산 지도를 통해 프로젝터와 백본을 함께 적응시킨다. 자동으로 구성된 음성 조건부 대화가 대화형 훈련 데이터를 제공하며, 로컬 교사 서빙, 교사와 학생 연산의 중첩, 전체 어휘 손실의 융합이 효율적인 온라인 증류를 가능하게 한다. 사고 모드에서 Apriel Voice는 Big Bench Audio에서 98.90, Speech-BFCL에서 81.13, $\tau$-Voice에서 65.51%의 과제 성공률을 달성하며 평균 지연 시간은 1.91초이다. 또한 영어 EVA 정확도 51.27%와 경험 pass@1 74.13%를 달성한다. 마지막으로 우리는 대화형 음성 상호작용을 지원하기 위해 Apriel Voice 27B Preview를 맞춤형 서빙 플랫폼에 배포한다.

arXiv:2605.05927v3cs.CL

입력 측면에서 모달리티 격차 최소화하기: 음성 LLM은 운율을 인식하는 텍스트 LLM이 될 수 있다

Minimizing Modality Gap from the Input Side: Your Speech LLM Can Be a Prosody-Aware Text LLM

음성 대규모 언어 모델(SLM)은 일반적으로 텍스트 대규모 언어 모델(TLM) 체크포인트로부터 구축되지만, 여전히 상당한 모달리티 격차를 겪는다. 기존 연구는 주로 음성 생성을 더 텍스트와 유사하게 만들어 출력 측면에서 이 격차를 줄이려 했으나, 격차는 여전히 남아 있다. 우리는 남아 있는 핵심 병목이 입력 측면에 있다고 주장한다. 우리는 음성 입력이 운율을 인식하는 텍스트 LLM의 입력과 더 유사해지도록 만드는 SLM인 TextPro-SLM을 제안한다. TextPro-SLM은 동기화된 텍스트 토큰과 운율 임베딩을 생성하는 통합 음성 인코더인 WhisperPro와, 원래 TLM의 의미론적 능력을 보존하면서 준언어적 이해를 학습하도록 훈련된 LLM 백본을 결합한다. 실험 결과, TextPro-SLM은 3B와 7B 규모 모두에서 주요 SLM 중 가장 낮은 모달리티 격차를 달성했으며, 준언어적 이해 과제에서도 전반적으로 강력한 성능을 보였다. 이러한 성과는 LLM 학습용 오디오 약 1,000시간만으로 달성되었으며, 이는 입력 측면에서 모달리티 격차를 줄이는 것이 효과적이면서 데이터 효율적임을 시사한다. 코드는 https://github.com/dreamtheater123/TextPro-SLM 에서 확인할 수 있다.

arXiv:2603.05354v2cs.CL

ASR의 다중 도메인 적응을 위한 모델 병합의 잠재력과 한계 탐구

Exploring the potential and limitations of Model Merging for Multi-Domain Adaptation in ASR

모델 병합은 여러 특화 모델의 능력을 하나의 모델로 결합하는, 다중 과제 학습에 대한 확장 가능한 대안이다. 이는 도메인별 미세조정을 통해 적응되어 여러 맞춤형 체크포인트가 생기고, 새로운 데이터가 확보될 때마다 전체 미세조정을 반복하는 것이 계산적으로 엄두를 내기 어려운 대규모 음성 파운데이션 모델에서 특히 매력적이다. 본 연구에서는 다중 도메인 ASR을 위한 모델 병합을 연구하며, 10개의 유럽 포르투갈어 도메인에 대해 11가지 병합 알고리즘을 벤치마킹하고, 도메인 내 정확도, 분포 변화에 대한 강건성, 그리고 영어 및 다국어 성능을 평가한다. 또한 TSV-M을 기반으로 특이값 부스팅을 통해 랭크 붕괴를 완화하고 수치적 안정성을 개선하는 새로운 병합 알고리즘 BoostedTSV-M을 제안한다. 전반적으로 우리의 접근법은 단일 모델에서 분포 외 일반화를 유지하면서 유럽 포르투갈어에서 전체 미세조정보다 우수한 성능을 보인다.

arXiv:2601.06844v2cs.LG

변분 분해 오토인코딩은 잠재 표현의 분리를 개선한다

Variational decomposition autoencoding improves disentanglement of latent representations

복잡하고 비정상적이며 고차원인 시간 진화 신호의 구조를 이해하는 것은 과학 데이터 분석의 핵심 과제이다. 음성 및 생체 의학 신호 처리와 같은 많은 분야에서 분리되고 해석 가능한 표현을 학습하는 능력은 잠재 생성 메커니즘을 밝히는 데 중요하다. 변분 오토인코더(VAE)를 포함한 전통적인 비지도 표현 학습 접근법은 이러한 데이터에 내재된 시간적·스펙트럼적 다양성을 포착하는 데 어려움을 겪는 경우가 많다. 본 논문에서는 신호 분해에 대한 강한 구조적 편향을 변분 표현 학습에 통합하는 프레임워크인 변분 분해 오토인코딩(VDA)을 소개한다. VDA는 변분 분해 오토인코더(DecVAE), 즉 분포 수준에서 잠재 오토인코딩을 수행하여 시간-주파수 특성에 정렬된 여러 잠재 부분공간을 학습하는 인코더 전용 신경망으로 구현된다. 우리는 시뮬레이션 데이터와 음성 인식, 구음장애 음성 평가, 감정 음성 분류에 걸친 세 개의 공개 과학 데이터셋에서 DecVAE를 평가한다. DecVAE는 분리 품질과 견고성에서 VAE 기반 방법을 개선하며, 생성 요인이 뚜렷한 스펙트럼 특징을 가질 때 잠재 부분공간이 요인별로 특화된다. 이러한 결과는 분해 인식 아키텍처가 음성, 그리고 뚜렷한 스펙트럼 특징을 보이는 요인을 가진 다른 동적 신호로부터 구조화된 표현을 추출하는 잠재적 도구가 될 수 있음을 보여주며, 임상 진단, 인간-컴퓨터 상호작용, 적응형 신경기술 등에 응용될 수 있다.

arXiv:2511.01261v2cs.SD

Speech-DRAME: 음성 롤플레이에서 인간 정렬 벤치마크를 위한 프레임워크

Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play

음성 롤플레이를 평가하려면 언어적 내용뿐 아니라 운율, 감정 표현, 캐릭터 구현, 맥락 적합성도 판단해야 한다. 기존의 자동 평가 방법은 이러한 측면을 거친 점수로 뭉뚱그리는 경우가 많으며 주로 합성 음성에서 평가되어 왔다. 우리는 역할·맥락·전달 불일치 조건을 대비시킨 이중 언어 인간 주석 벤치마크인 Speech-DRAME-EvalBench와 미세조정된 오디오-언어 평가기인 DRAME-Eval로 구성된 프레임워크 Speech-DRAME을 소개한다. 이 벤치마크는 하향식 원형 평가와 상향식 사실성 평가라는 두 가지 상호 보완적 프로토콜을 지원하며, 주로 합성된 벤치마크 분포 데이터와 전적으로 실제 인간 연기로 이루어진 보류 스트레스 테스트로 구성된다. 벤치마크 분포 세트에서 DRAME-Eval은 원형 평가에서 0.629, 사실성 평가에서 0.602의 통합 피어슨 상관계수를 달성하여 평가 대상 제로샷 및 퓨샷 오디오-언어 판정기를 유의하게 능가하며, 모달리티 통제 실험은 그 판단이 음성과 텍스트 맥락 모두에 의존함을 보여 준다. 이러한 정렬은 실제 음성 테스트 세트로 전이되지 않는다. 여기서 DRAME-Eval은 평균 상관계수 -0.142, 화자 내 상관계수 +0.029를 얻는 반면, 대응하는 인간 단일 평가자 간 일치도는 +0.34이다. 이러한 결과는 합성 음성에서 실제 음성으로의 상당한 전이 격차를 확인해 주며, Speech-DRAME이 실제 인간 연기들 사이의 연기 차이에 대한 평가를 연구하고 개선하기 위한 자원이 됨을 보여 준다.

arXiv:2610.39742v1eess.AS

발화 턴 종료 검출기 학습에서 발화 장르의 중요성

The Importance of Speech Genre for End-of-Turn Detector Training

턴 종료(EoT) 검출은 주로 특징, 모델, 모달리티 측면에서 연구되어 왔으며, 학습 데이터의 발화 장르는 훨씬 적은 관심을 받았다. 우리는 이 요인을 분리하여 살펴본다. 재현 가능한 하나의 주석 파이프라인을 사용해, 다중 턴 인간-인간 대화 코퍼스와 단일 턴 인간-기계 코퍼스라는 짝을 이루는 코퍼스를 구축하고, 각각에 대해 동일한 스트리밍 ConvLSTM EoT 검출기를 학습한다. 네 개의 테스트 세트 전반에서 대화 모델은 최대 +0.45 더 높은 F1을 달성하며, 이는 단일 턴 코퍼스에서는 드문 턴 중간의 휴지와 머뭇거림에서 오경보가 줄어든 데 기인한다. 이러한 대화 학습 효과는 프레임 수준 디코딩에만 국한되지 않는다. 완결 여부 일치 테스트 하에서는 두 인코더에 걸쳐 발화 수준에서도 나타나지만, 대화 테스트 데이터에서만 그러하다. 따라서 대부분의 선행 연구처럼 단일 턴 발화에서만 테스트하면 대화 학습 데이터의 이점이 가려진다. 오픈소스 기준선과 비교하여, 우리의 1.8M 파라미터 모델은 모든 테스트 세트에서 가장 높은 F1을 달성한다.

arXiv:2610.37912v1eess.AS

발화 수준 화자 유사도를 넘어서: 음성 생성에서 억양의 지각 정렬 분절 평가

Beyond Utterance-Level Speaker Similarity: Perception-Aligned Segmental Evaluation of Accent in Speech Generation

발화 수준의 유사도 평가는 생성된 음성에서 지각되는 억양 차이가 어디에서 나타나는지를 드러내지 못한다. 우리는 화자 및 억양 유사도 평가에, 대상 억양 지역 출신 청취자가 제공한 지각된 억양 차이의 하위 단어(subword) 주석을 결합한 분절 평가 프로토콜을 제안한다. 새로 수집한 녹음을 사용하여, 선별된 청취자 47명이 스코틀랜드 및 호주 화자 4명의 음성, 제로샷 TTS 시스템 2종, 조음 기반 음성 변환 시스템 1종에 걸친 내용 일치 참조-후보 쌍 200개를 평가한다. 하위 단어 주석은 두드러진 발음 차이의 위치를 찾아내며, 때때로 유사도 평가와 다른 시스템 순위를 산출한다. 화자 평가와 억양 평가는 강한 연관성을 유지하며($\rho = 0.71$), 이는 이러한 점수 너머의 국소적 지각 증거를 살펴보는 것의 가치를 보여 준다. 7가지 객관적 거리 척도를 평가한 결과 하위 단어 선택과의 대응이 약했으며, 상관은 최대 $\rho = 0.22$에 그쳤다. 우리는 지각에 기반한 분절적 억양 평가의 발전을 지원하기 위해 코드, 데이터, 대화형 데모를 공개한다.

arXiv:2610.37795v1eess.SP

Universal Short-Time Fourier Transform: Data-Adaptive Window-Length Selection for Time-Frequency Analysis

The short-time Fourier transform (STFT) characterizes the local frequency content of time-varying signals by evaluating the discrete Fourier transform over a sliding analysis window. The STFT is governed by a fundamental resolution trade-off: a short window localizes rapid transients in time at the cost of frequency resolution, whereas a long window resolves closely spaced harmonics at the expense of temporal resolution. The Universal Short-Time Fourier Transform (U-STFT) resolves this trade-off sequentially by modeling the analysis window duration as a data-adaptive state variable that indexes the number of hops included in the current observation interval. At each frame, a bank of candidate window durations is scored using normalized order-three R\'enyi entropy to quantify joint time-frequency concentration. A window length trellis aggregates the resulting $\mathcal{O}(3^M)$ candidate window schedules with linear complexity per frame, guaranteeing a cumulative mix-loss regret bound of $\mathcal{O}((k+1)\log M)$ relative to any hindsight window schedule with $k$ resolution changes over $M$ frames. By linearity of the Fourier transform, posterior expectation across the candidate bank yields a single spectrum equivalent to an STFT evaluated with a data-adaptive effective window, while an envelope-normalized synthesis stream guarantees exact overlap-add reconstruction. Evaluations on synthetic and marine bioacoustic signals demonstrate adaptive resolution tracking, enhanced spectral concentration, and exact time-domain invertibility.

arXiv:2608.02673v4cs.SD

dots.tts.edit: 연속형 자기회귀 모델을 통한 정밀 제어 음성 편집

dots.tts.edit: Precisely Controlled Speech Editing with a Continuous Autoregressive Model

Speech editing for content creation requires precise control over both what an edit should do and where it should apply. Free-form natural language provides a flexible interface for expressing edit requests, but its ambiguity may leave the intended operation, parameters, or target region underspecified. We study a semi-formal transcript-grounded edit instruction that specifies operation categories and parameters and binds them to transcript spans or boundaries. This semantic timeline avoids explicit timestamp alignment and provides an externally inspectable contract for compositional edits. We instantiate the interface in dots$.$tts$.$edit, a speech editing model built on a continuous autoregressive speech generation architecture. Four representative speech-creation controls cover lexical content, affective expression, pitch and speaking-rate delivery, and temporal phrasing through text, emotion, prosody, and pause editing. Task-specific data pipelines construct operation- and scope-controlled pairs while retaining source-derived context outside each target region. We further introduce doteBench, a bilingual benchmark that measures precise instruction following, local preservation, and audio quality across the four controls and their composition. Experiments show leading overall instruction following and local preservation across its five editing categories, while audio quality remains comparable to existing open-source systems. Across three Seed-TTS-Eval shards, the model shows negligible differences from the base model in zero-shot TTS recognition error rate and speaker similarity.

arXiv:2606.04680v2eess.AS

Read What You Hear: Reference-Free Hypotheses Evaluation with Acoustic Discrepancy

Automatic speech recognition systems commonly rely on reference transcriptions for evaluation, while reference-free approaches often depend on internal confidence estimation or auxiliary language models. We propose READ (Reference-free Hypothesis Evaluation with Acoustic Discrepancy), a novel metric that evaluates ASR hypotheses directly from the speech signal. READ emphasizes the acoustic grounding of hypotheses. It uses a pretrained auto-regressive TTS model to compute the conditional likelihood of speech tokens given a text hypothesis, to measure fine-grained acoustic discrepancy between speech and text. Without additional training, READ can be applied for hypothesis refinement. Experiments show that READ correlates with specific recognition errors and improves ASR outputs, achieving up to 20\% relative error rate reduction, with particularly strong gains under noisy conditions.

arXiv:2602.18721v2cs.CL

ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models

Semi-supervised learning in automatic speech recognition (ASR) typically relies on pseudo-labeling, which often suffers from confirmation bias and error accumulation due to noisy supervision. To address this limitation, we propose ReHear, a framework for iterative pseudo-label refinement that integrates an instruction-tuned, audio-aware large language model (LLM) into the self-training loop. Unlike conventional text-based correctors, our approach conditions the LLM on both the ASR hypothesis and the source audio, allowing it to recover phonetically accurate transcripts even from severe recognition errors. These refined pseudo-labels serve as high-fidelity targets for fine-tuning the ASR model in an iterative cycle. Experimental results across diverse benchmarks demonstrate that ReHear effectively mitigates error propagation and improves over both supervised and pseudo-labeling baselines.

arXiv:2411.14493v2cs.CL

From Statistical Methods to Pre-Trained Models; A Survey on Automatic Speech Recognition for Resource Scarce Urdu Language

Automatic Speech Recognition (ASR) technology has witnessed significant advancements in recent years, revolutionizing human-computer interactions. While major languages have benefited from these developments, lesser-resourced languages like Urdu face unique challenges. This paper provides an extensive exploration of the dynamic landscape of ASR research, focusing particularly on the resource-constrained Urdu language, which is widely spoken across South Asian nations. It outlines current research trends, technological advancements, and potential directions for future studies in Urdu ASR, aiming to pave the way for forthcoming researchers interested in this domain. By leveraging contemporary technologies, analyzing existing datasets, and evaluating effective algorithms and tools, the paper seeks to shed light on the unique challenges and opportunities associated with Urdu language processing and its integration into the broader field of speech research.

arXiv:2610.40505v1eess.AS

Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models

Voice-cloning TTS models synthesize an unseen speaker's voice from brief speech prompts, but it remains unclear which acoustic properties they represent and use. We introduce a feature-based interpretability framework for autoregressive voice-cloning TTS models, analyzing features from sparse autoencoders (SAEs), PCA, and random directions via sparse probing, steering, and quantitative auto-interpretability. We focus on Qwen3-TTS and extend probing and steering to $5$ additional models to test generalization across architectures. These models encode concepts like pitch, energy, noise, and accent, but sparse prediction and steering are effective only for some concepts. Strong probing does not always translate to steering or vice-versa. SAEs are useful for sparse probing of human-labelled concepts and novel-concept discovery, while PCA is competitive for dense probing and steering. Auto-interpretability finds $684$ automatically validated SAE features in Qwen3-TTS covering speaker clusters, speaking style, and recording conditions beyond known concepts. Overall, we perform a comprehensive interpretability study of autoregressive voice-cloning TTS models.

arXiv:2610.39168v1cs.SD

Reading-Level Verification of Kanji Words in Japanese Financial Speech Synthesis

Few-shot voice cloning makes it cheap to produce daily Japanese financial commentary with several synthetic speakers, but kanji words with more than one reading, such as the word for "market" (shijo vs. ichiba) or "overall trend" (taisei vs. oze), are still misread. A common quality gate transcribes each synthesized sentence with automatic speech recognition (ASR), converts both the input and the transcript to kana, and regenerates on mismatch. We show that this gate is unreliable in both directions: when the audio contains a misreading, the ASR language model frequently writes the expected kanji back, hiding the error, and when the audio is correct, ordinary recognition errors trigger needless regeneration. We propose a reading-level check that scores the expected reading and its confusable alternatives with a connectionist temporal classification (CTC) hiragana recognizer and flags a word when an alternative explains the audio better. On 540 utterances from three voice-cloned production voices covering 30 financial terms, with misreadings injected under controlled conditions, the transcript-based gate detected 78.9% of misreadings at a 44.4% false-alarm rate, whereas the proposed check detected 91.7% at 5.0% (AUC 0.990). On natural kanji input, it caught a front-end error that the transcript-based gate missed for one voice, and reduced regeneration requests from 38.9% to 6.1% of sentences.

arXiv:2610.38252v1eess.AS

A Tutorial on Generative Models for Music Audio

Music audio generation spans instrumental clips, full songs with vocals, edits of existing recordings, and systems that play alongside a musician in real time. This monograph explains the methods behind these systems for readers familiar with neural-network training who are new to music generation. It introduces neural audio codecs and autoencoders, autoregressive and masked token models, diffusion and flow matching, sampling acceleration, and preference optimization in a shared notation. Worked examples connect training objectives and sampling procedures to published systems. The application sections relate the musical requirements of instrumental generation, songs, editing, and live performance to model design. Comparison tables record representations, methods, inputs, tasks, and release information documented in papers and official sources. Symbolic composition, speech, and sound effects are included where they connect to music audio. We explain how to interpret automatic metrics and learned judges, design and report listening tests, and assess evidence about data provenance, memorization, attribution, and output detection. Selected legal decisions and disputes illustrate the implications for training and release. The reviewed systems combine established generative paradigms with new representations, planning stages, and post-training procedures. Differences in data, scale, and evaluation limit what cross-system comparisons can establish about the sources of reported gains.