문맥 편향(contextual biasing)은 추론(inference) 시점에 ASR 시스템에 예상 단어 목록을 제공하지만, 기존 방식들은 일본어와 중국어에서는 제공되지 않는 단어 경계에 의존합니다. 본 논문에서는 별도의 학습(training)이나 2차 패스(second pass) 없이 문자 수준 아호-코라식(Aho-Corasick) 오토마톤을 기반으로 구축된, 동결된 공개 CTC 모델용 경계 없는 편향 디코더를 제시합니다. 단어 경계를 대체하기 위해 두 가지 증거 기반 메커니즘을 사용합니다. 매칭 깊이에 따라 편향 강도를 조절하는 깊이 적응형 게이트와, 음성은 맞으나 문자가 틀린 경우를 위한 발음 공간(reading-space) 매칭입니다. Aishell-1 NE의 고난도 R1 하위 집합에서 본 방식은 66.5%의 재현율(recall)을 달성하여 학습된 CLAS 기준선(baseline, 64%)을 상회했으며, 재조정 없이 WenetSpeech 및 두 번째 아키텍처로도 전이되었습니다. 또한 최초의 공개 일본어 문맥 편향 벤치마크를 공개하며, 이 벤치마크에서 편향 적용 시 97% 이상의 정밀도(precision)를 유지하면서 희소 단어 재현율을 25%포인트 향상시켰고, 1,000단어 목록에 대해서도 여전히 19 및 22%포인트 향상시켰습니다.
블라인드 음원 분리(BSS)는 음원이나 혼합 과정에 대한 사전 지식 없이 혼합 신호로부터 여러 음원 신호를 분리하는 것을 목표로 하는 신호 처리 분야의 근본적인 문제입니다. 독립 벡터 분석(IVA)과 같은 전통적인 접근 방식은 음원의 통계적 독립성을 활용합니다. 최근에는 강력한 생성적 사전 확률(generative prior)을 활용하여 확산(diffusion) 기반 접근 방식이 유망한 대안으로 떠올랐습니다. 그중 ArrayDPS는 BSS 문제를 사후 샘플링(posterior sampling) 문제로 정의하고, 사전학습된 음성 확산 모델을 활용하여 깨끗한 음원 신호의 복원을 유도합니다. 분리 성능을 뒷받침하는 핵심 요소는 추정된 음향 전달 함수를 통해 추정된 음원 신호가 관측된 마이크 혼합 신호를 재구성하도록 강제하는 다채널 일관성(MC) 목표입니다. 그러나 어레이 내 마이크의 수는 종종 제한되어 있어 ArrayDPS의 성능을 제약합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 더 높은 신호 대 잡음비(SNR)를 갖는 가상 마이크로 마이크 어레이를 증강하는 새로운 방법인 VM-ArrayDPS를 제안합니다. 이 가상 마이크들은 추가적인 MC 제약 조건을 제공하여 분리 성능을 향상시킬 수 있습니다. 실험 결과는 VM-ArrayDPS가 2인 화자 및 3인 화자 데이터셋 모두에서 ArrayDPS를 크게 능가함을 보여주며, BSS 성능을 개선하는 데 있어 가상 마이크 증강의 효과성을 입증합니다. 또한 가상 마이크의 수와 가상 마이크가 가져오는 MC 목표의 가중치가 미치는 영향을 보여주기 위해 어블레이션 연구(ablation study)도 수행했습니다.
음성 언어 모델(SLM)의 성능은 데이터 부족으로 인해 방언에서 저하되는 경우가 많습니다. 기존의 텍스트 음성 변환(TTS) 증강은 일정량의 실제 방언 음성을 필요로 하기 때문에 다양한 방언을 포괄하는 데 어려움을 겪습니다. 본 논문에서는 대규모 언어 모델(LLM)이 생성한 방언 텍스트를 표준어 TTS 모델로 변환하여 실제 방언 음성을 전혀 필요로 하지 않는 의사 방언(pseudo-dialect) 음성 합성 방식을 제안합니다. 또한 학습(training) 중 중간 표준 텍스트 예측을 도입하여 다운스트림 태스크를 위한 의미적 정규화(normalization) 역할을 수행하도록 합니다. 일본어, 독일어, 중국어 방언에 걸쳐 방언-영어 음성 번역을 통해 방언 이해도를 평가합니다. 합성된 표준 음성 베이스라인과 비교했을 때, 의사 방언 증강은 일본어(25.38에서 26.24로)와 독일어(31.57에서 32.47로)의 점수를 향상시켰습니다. 나아가 중간 표준 텍스트 예측은 의미적 격차를 효과적으로 해소하여 일본어 성능을 28.26으로, 중국어 성능을 11.67에서 16.37로 끌어올렸습니다. 이러한 결과는 제안하는 접근 방식이 각 방언에 특화된 음성 자원 없이도 다양한 언어로 확장될 수 있음을 시사합니다.
텍스트-음악 생성 모델의 급격한 확장은 전통적인 음악 창작 및 지식재산권 패러다임에 도전 과제를 제기하고 있습니다. 이러한 맥락에서 표절은 절대적인 수학적 이분법으로 나뉘기보다는 화성 구조, 멜로디 윤곽, 또는 전반적으로 인지되는 스타일적 특성에 걸쳐 절충되는 모호한 임계값에 가깝습니다. 본 연구에서는 최신 음악 버전 식별(version identification) 아키텍처를 인간 대 인간의 커버 곡 영역에서 인간 대 AI의 표절 환경으로 전이할 수 있는지를 테스트합니다. 이 작업을 평가(evaluation)하기 위해, 실제 표절 사례에서 도출하고 생성적 재합성(re-synthesis) 및 디지털 신호 처리 난독화를 통해 확장하여 350,654개의 평가 쌍을 구축한 벤치마크(benchmark)인 COPYCAT을 제안합니다. 우리는 스칼라 거리 임계값 방식이 생성적 재합성 환경에서 성능이 급격히 저하되는 반면, 좌표별 임베딩(embedding) 변화를 활용하는 지도학습 프레임워크는 분산된 표절 신호를 복원하여 전반적인 $F_{0.5}$ 점수를 $0.612$에서 $0.803$으로 끌어올림을 보여줍니다.
음성 대규모 언어 모델(음성 LLM)은 쌍을 이룬 음성-텍스트 데이터가 충분할 때 자동 음성 인식(ASR)에서 우수한 성능을 보이지만, 저자원 환경에서는 성능이 저하됩니다. 음성-음소(S2P) 변환 후 음소-자소(P2G) 변환을 수행하는 캐스케이드 파이프라인은 이러한 환경에서 엔드투엔드 음성 LLM을 능가하는 것으로 나타났으며, 이는 쌍을 이룬 데이터가 부족할 때 음소 매개 처리가 유용함을 시사합니다. 본 논문에서는 이러한 통찰을 엔드투엔드 프레임워크 내에서 활용하는 간단한 방법인 음소 유도 초기화(phoneme-guided initialization)를 제안합니다. 오디오 인코더를 S2P 작업으로, LLM을 P2G 작업으로 사전학습한 후, 이들을 연결하고 전체 모델을 타깃 ASR 작업에 대해 엔드투엔드로 파인튜닝합니다. 일본어(CSJ), 중국어(AISHELL-1), 그리고 Common Voice 25.0의 두 가지 저자원 언어(타타르어 및 우르두어)에 대한 실험 결과, 본 연구의 방법은 캐스케이드 S2P-P2G 기준선과 P2G 초기화가 없는 엔드투엔드 모델 모두와 동등하거나 이를 능가하는 성능을 보였습니다.
본 논문에서는 완전 연속 이중 인코더 아키텍처를 기반으로 구축된 엔드투엔드 의인화 음성 생성 모델인 JoyAI-Voice 2.0을 제시한다. 원시 음성은 연속 잠재 변수(latent)로 인코딩된 후 패치로 분할된다. 각 패치는 의미-음향 이중 인코더에 의해 의미론적으로 정제된 표현과 음향 표현으로 분해되며, 이 둘은 융합되어 계획 수립을 위한 인과적 자기회귀 트랜스포머(Transformer)에 공동으로 입력된다. 트랜스포머는 다음 패치에 대한 조건화를 예측하고, 로컬 디퓨전 트랜스포머가 48 kHz 합성을 위해 전체 잠재 변수를 렌더링한다. 이 모델은 공동 플로우 매칭(flow-matching) 및 정지 예측 목표로 학습된 후, 모델 성능을 향상시키기 위해 지도 미세조정(supervised fine-tuning)과 DiffusionNFT를 활용한 강화학습(reinforcement learning)을 거친다. 본 모델은 Seed-TTS에서 가장 강력한 기준선 대비 14.9% 상대적 감소를 보이며 최저 평균 단어 오류율 2.51%를 달성했고, 중국어와 영어 모두에서 InstructTTSEval의 최고 수준 속성 충실도를 기록했으며, MDVD-Eval에서 0.893의 최고 종합 점수와 함께 10개 지각 차원 중 5개에서 선두를 차지했다.
스마트 기기 사용이 지속적으로 증가함에 따라, 민감한 음성 콘텐츠가 포착될 가능성으로 인해 프라이버시 우려가 커지고 있습니다. 따라서 오디오의 효용성을 보존하면서 정보 유출을 방지하는 기술과, 프라이버시 수준을 과대평가하지 않고 정확하게 정량화하는 평가 지표를 개발하는 것이 중요합니다. 본 연구에서는 자연어 처리(NLP) 분야의 개체 인식 프라이버시 지표를 음성 프라이버시 도메인에 적용하여, 개체명(named entities)에 특히 중점을 두고 두 가지 난독화 기법의 음성 콘텐츠 보호 효과를 평가합니다. 나아가 여러 공격 시나리오를 조사하여, 개체가 풍부한 데이터에 대한 미세조정(fine-tuning)이 일부 개체 카테고리에서는 공격 성능을 향상시키지만 다른 카테고리에서는 그렇지 않음을 보입니다. 마지막으로 난독화 방법이 시간적 정렬(temporal alignment)을 보존하는지 여부에 따른 지표 선택 지침을 제공합니다.
소규모 데이터 적응(adaptation)은 음성 검출 성능을 향상시킬 수 있지만 화자 귀속(speaker attribution) 성능은 저하시킬 수 있습니다. 본 연구에서는 7.5시간 분량의 2인 대화 데이터로 적응시키고 6개 코퍼스에 걸쳐 평가된 공개 스트리밍 화자 분리(streaming diarizer) 모델에서 이러한 불일치를 조사합니다. 적응을 통해 도메인 내(in-domain) 화자 분리 성능이 크게 향상되었으며 독립적인 코퍼스로도 전이되었습니다. 그러나 추가적인 혼동(confusion)은 화자 수 추정 오류보다는 주로 손상된 시간적 정체성 일관성(temporal identity consistency)과 관련이 있어, 이러한 개선이 모든 평가 시나리오에서 일관되게 나타나지는 않습니다. 국소 재매핑(local-remapping) 진단을 통해 코퍼스 전반에서 정체성 저하의 서로 다른 패턴이 드러났으며, 이는 적응 과정이 스트리밍 모델이 시간에 따라 화자 할당을 유지하는 방식을 변화시킬 수 있음을 나타냅니다. 리허설(rehearsal)은 관찰된 성능 저하를 줄여주지만 교차 도메인 전이 성능을 감소시킵니다. 이러한 결과는 스트리밍 화자 분리 시스템을 적응시킬 때 검출 정확도, 정체성 일관성, 보존 특성을 함께 공동으로 평가해야 할 필요성을 강조합니다.
자동 음성 인식(ASR) 시스템은 아동 및 비원어민 화자에 대해 성능이 저하되는 경우가 많으며, 성인 음성 인식 모델을 아동 음성에 적응시키면 성인 음성에 대한 망각이 발생할 수 있습니다. 본 연구에서는 아랍어와 영어를 대상으로 성인 음성 인식 성능을 유지하면서 아동 음성 인식에 적응하는 방법을 연구합니다. 인코더-디코더, 인코더-CTC, AudioLLM 기반 음성 인식 시스템 전반에서 전체 미세조정(full fine-tuning), LoRA, 그리고 사후 가중치 공간 병합(weight-space merging)을 비교합니다. 실험에는 아랍어 원어민 및 비원어민 아동 음성, 영어 MyST 아동 음성, 그리고 MGB-2 및 LibriSpeech test-clean의 성인 벤치마크를 사용합니다. 단어 오류율(WER)로 인식 품질을 평가하고, 유지 지수(Retention Index), 아동 적응 이득(Child Adaptation Gain), 적응 회복도(Adaptation Recovery)를 사용하여 적응과 유지 간의 트레이드오프를 정량화합니다. 실험 결과, 특히 비원어민 아랍어 및 영어 아동 음성에서 아동 적응이 필수적이지만 직접적인 적응은 성인 ASR 성능을 저하시키는 경우가 많음을 보여줍니다. 이중언어 적응은 단일 언어 적응보다 더 안정적입니다. 가중치 공간 병합은 특히 인코더-CTC, Whisper, AudioLLM 기반 ASR에서 트레이드오프를 개선하는 경우가 많으며, LERP는 성인 성능 유지에 유리하고 TIES는 더 강력한 아동 음성 성능 향상을 회복합니다. 인코더-디코더 모델의 경우 직접적인 이중언어 미세조정이 순수 WER 측면에서 여전히 가장 우수합니다.\footnote{코드와 모델은 https://github.com/qcri/Child-ASR-Adaptation 에서 확인할 수 있습니다.}
스트리밍 음성 에이전트(agent)는 너무 이른 시점에 행동한 후에도 올바른 최종 행동을 생성할 수 있습니다. 최종 턴 점수는 관찰된 각 음성 접두 문맥(prefix)이 노출된 행동을 뒷받침하는지 여부를 드러내지 못합니다. 본 논문에서는 최초의 유효 행동 시점을 지정하고 행동의 일치 여부와 타이밍을 모두 평가하는 통제된 테스트인 음성 언어 모델의 턴 테이킹을 위한 부분 음성 행동 계약(PACT-SLM)을 소개합니다. 주요 테스트에서는 4개의 미확인(held-out) 의미 계열에서 추출한 80개의 쌍을 이룬 대조군을 통해 클린 환경 및 15dB 노이즈 렌더링에 걸쳐 1,600개의 접두 문맥 예측을 도출합니다. 균형을 맞춘 브랜치 코드 대신 소스 발화 의미 목표를 사용하여 WavLM Base Plus는 26.03%의 풀링된 시작 후(post-onset) 의미 레이블 정확도(95% 그룹 부트스트랩 구간 [22.14%, 29.68%])를 달성하고, 시작 전(pre-onset) 접두 문맥의 18.99%에서 행동을 노출하며, 완전한 궤적의 5.94%를 정확하게 예측합니다. 해당 모델의 풀링된 레이블 점수는 접두 문맥 내 100개 레이블 순열 중 96번째 백분위수에 해당하며, 97.5번째 백분위수 기준치(26.73%)를 밑돕니다. 이 모델은 풀링된 시작 후 레이블 정확도에서 매칭된 텍스트, 스칼라-음향 및 셔플된 표현 프로브를 능가합니다. 경과 시간은 시작 시점 정확도가 더 높지만(23.13% 대비 36.25%) 행동 일치도에 대한 정확도는 더 낮습니다(26.03% 대비 9.92%). 이러한 결과는 부분 음성 평가에서 행동의 일치 여부와 시작 타이밍을 별도로 측정해야 함을 시사합니다.
텍스트 입력에 명시적인 강조 제어 신호가 제공되는 경우에도 제어 가능하면서 인간과 유사한 강조를 생성하는 것은 텍스트 음성 변환(TTS)에서 여전히 해결해야 할 과제로 남아 있으며, 이는 실제 응용 분야에서 합성 음성의 의사소통 정확도를 제한합니다. 최근 인간 선호도에 맞게 TTS 시스템을 사후 학습(post-training)하는 데 강화학습(RL)이 유망함을 보여주었으나, 기존 방법들은 단어 수준의 운율 제어에 적용되지 않았습니다. 본 논문에서는 강조 국소화 보상(reward)을 갖춘 지속 시간 예측기에 그룹 상대 정책 최적화(GRPO)를 적용하여 단어 수준 강조에 대한 직접적인 최적화를 가능하게 하는 비자기회귀(non-autoregressive) TTS 시스템인 EmphTTS를 제안합니다. 평가 결과에 따르면 EmphTTS는 최고의 강조 제어 능력을 달성하고 강조 객관적 평가에서 가장 우수한 성능을 보입니다. 주관적 선호도 평가에서 EmphTTS는 합성 그라운드 트루스(groundtruth) 및 대부분의 베이스라인보다 유의미하게 선호되었습니다. 절제 연구(ablation study)는 GRPO가 지도 파인튜닝 기반 지속 시간 모델링 및 단순한 발화 속도 조절을 넘어 강조 구현을 향상시키는 동시에, 독립적으로 학습된 지속 시간 예측기와 TTS 모델 간의 불일치를 완화함을 보여줍니다.
음성 및 오디오 대규모 언어 모델(LLM)은 파형(waveform) 기반 예측과 자동 음성 인식(ASR) 전사본 기반 예측을 비교하여 평가됩니다. 정해진 폐쇄형 집합(closed-set) 작업의 경우, 이러한 방식은 음향적 증거와 생성 오디오 모델 호출의 필요성을 혼동하게 만듭니다. 본 연구에서는 호출 전 증거를 공유하는 매칭된 선택기(matched selector)를 통해 증분 호출 가치(incremental call value)를 추정합니다. 각 정책은 전사본 레이블을 유지하거나, 로컬 인코더를 사용하거나, 생성 모델을 호출할 수 있습니다. 매칭된 대조군은 생성 동작을 배제하되 호출 전 증거 및 개발 선택은 보존합니다. VocalSound에서 전사본만 사용한 정확도는 0.296인 반면, 지도학습된 CLAP 및 WavLM 대조군은 호출 없이도 각각 0.850과 0.854에 도달합니다. 전체 선택기는 12.5%의 호출 비율에서 0.925에 도달하며, 이는 매칭된 무호출(No-call) 선택기의 0.921과 비교됩니다(차이 0.004, 95% CI [-0.025, 0.033]). 따라서 결과는 전사본 및 인코더 증거를 사용할 수 있게 된 이후에는 호출로 인한 이득이 나타나지 않음을 보여줍니다. 유의미한 수치는 파형과 전사본 간의 격차가 아니라 호출을 허용함으로써 얻는 증분 정확도입니다.
음소 기반 자동 음성 인식(ASR)은 인식을 음성-음소(S2P) 및 음소-자소(P2G)로 인수분해하여, 언어별 표기 체계를 별도 모듈로 유지하면서도 언어 간 음향 공유를 가능하게 합니다. 대규모 언어 모델(LLM)이 P2G에 유망하지만, 언어 인식적 생성과 극심한 언어 간 데이터 불균형으로 인해 다국어 P2G는 여전히 난제로 남아 있습니다. 본 연구에서는 10개 언어로 구성된 CV-Lang10 벤치마크에서 다국어 LLM 기반 P2G를 조사합니다. DANP와 단순화된 SKM(S-SKM)을 포함하여 S2P 불확실성을 고려하는 강건성 전략을 살펴봅니다. S-SKM은 P2G 학습 시 CTC 기반 S2P 확률 가중치를 배제하는 몬테카를로 근사 기법입니다. 강건한 학습과 저자원 오버샘플링을 통해 평균 단어 오류율(WER)을 10.56%에서 7.66%로 낮춥니다.
음성 딥페이크 탐지를 위한 기존 프론트엔드는 주로 두 가지 유형으로 분류됩니다. 수작업 기반(hand-crafted) 필터뱅크 특징(feature)은 명확하지만 더 높은 수준의 정보를 포착하는 데 한계가 있습니다. 반면 자기지도학습(SSL) 특징은 해석 가능성이 부족하고 미세한 스펙트럼 이상을 간과할 수 있습니다. 본 연구에서는 웨이블릿 산란 변환(WST)을 통해 두 방식의 장점을 결합한 새로운 특징 추출기 계열인 WaveScat을 제안합니다. WST는 웨이블릿 합성곱과 모듈러스 비선형성을 계단식으로 연결하여 변형에 안정적인 다중 스케일 특징을 생성합니다. 최신 Deepfake-Eval-2024 벤치마크 실험과 SpoofCeleb, In-the-Wild, ASVspoof 5에 대한 교차 데이터셋(cross-dataset) 평가 결과, WaveScat이 기존 프론트엔드를 큰 마진(margin)으로 능가함을 보여줍니다. 분석을 통해 작은 평균화 스케일과 고주파수 및 방향 해상도의 결합이 미세한 아티팩트를 포착하는 데 중요하다는 점을 밝혔습니다. 이는 음성 딥페이크 탐지에서 안정적이고 평행이동 불변인 특징의 가치를 강조합니다. 코드 및 보충 자료는 https://github.com/xxuan-acoustics/WaveScat 에서 확인할 수 있습니다.
음성에서 인간의 감정과 정서적 상태를 식별하는 과정을 음성 감정 인식(Speech Emotion Recognition, SER)이라고 합니다. 이는 목소리의 톤과 피치가 기저의 감정을 전달하는 경우가 많다는 관찰에 기반합니다. 감정을 인식하는 기능은 음성 인식(speech recognition)의 한 분야로, 최근 점점 더 많은 주목을 받으며 수요가 높아지고 있습니다. 본 연구는 데이터에 포함된 적절한 요인(양식, 감정, 강도, 반복 등)을 활용하여 합성곱 신경망(CNN)으로 오디오 녹음에서 감정을 구별하고 다양한 감정 범위에 따라 레이블을 지정하는 방안을 모색합니다. 머신러닝 기법을 활용하여 제공된 오디오 파일에서 감정을 식별하는 머신러닝 모델을 개발했습니다. 평가는 일반적인 머신러닝 지표인 정밀도(precision), 재현율(recall), F1 점수를 중심으로 수행됩니다. 머신러닝 프레임워크를 올바르게 구성하고 학습(training)하기 위한 주된 목적은 모든 입력 및 출력 파라미터의 영향과 상호 연관성을 조사하는 것입니다. 의사소통의 핵심 조건인 의도 인식 능력을 향상시키기 위해, 본 연구에서는 디지털 헬스케어의 도움을 받아 목소리를 통해 정서적 상태를 다루고 인간과 인공지능(AI) 사이의 간극을 좁히는 특화된 머신러닝 알고리즘으로 음성 기반 감정을 평가했습니다.
월드 모델(world model)의 최근 발전으로 점점 더 사실적인 시각적 합성이 가능해졌습니다. 그러나 이렇게 생성된 환경들은 여전히 대부분 소리가 없습니다. 월드 모델에 소리를 부여하는 데에는 세 가지 핵심 과제가 따릅니다. 즉, 대화형 비디오 스트림에 보조를 맞추기 위한 실시간 생성, 스트림 도중 들어오는 사운드 지침에 반응하기 위한 인터랙티브 제어, 그리고 장면 기하구조 및 카메라 움직임을 반영하기 위한 공간적으로 정렬된 스테레오 사운드입니다. 이러한 요구를 해결하기 위해, 본 논문에서는 월드 모델 내 실시간 공간 사운드 합성을 위해 설계된 인터랙티브 비디오-투-오디오(video-to-audio) 프레임워크인 WorldSonus를 소개합니다. 실시간 생성을 위해 WorldSonus는 스트리밍 인과적 자기회귀 확산(causal autoregressive diffusion) 아키텍처를 채택하여 0.41의 낮은 실시간 비율(RTF)로 오디오 청크를 합성합니다. 인터랙티브 제어를 위해서는 청크 인덱스 기반 프롬프트 스케줄링을 갖춘 오디오 중심 캡셔닝 파이프라인을 통합하여 생성 도중 사운드 이벤트를 동적으로 조작할 수 있도록 합니다. 공간 정렬을 위해서는 다양한 스테레오 및 앰비소닉(ambisonic) 데이터로부터 정제된 고품질 스테레오 지도학습을 활용합니다. 광범위한 실험을 통해 WorldSonus는 월드 모델에 맞춤 설계되었음에도 불구하고 공개 도메인 비디오-투-오디오 벤치마크로 효과적으로 일반화되며, 음향 품질과 공간 정렬 모두에서 최첨단 양방향 모델들과 동등하거나 이를 능가하는 성능을 보임을 입증합니다. 프로젝트 페이지: https://noizai.github.io/WorldSonus/
전이중(full-duplex) 음성 대화 모델은 동시에 듣고 말할 수 있어, 음성 에이전트(agent)가 턴 기반(turn-based) 시스템에서는 불가능한 자연스럽고 지연 시간이 짧은 상호작용을 수행하도록 지원합니다. 그러나 이러한 모델은 대개 반응할 수 없는 사전 녹음된 오디오나, 실시간으로 반응하지만 정해진 일련의 테스트만 진행하고 자체적으로는 평가받지 않는 자동화된 시험관과 같은 일방적 대화 상대를 대상으로 평가됩니다. 이러한 일방적 프레임워크는 턴 테이킹(turn-taking), 겹침(overlap), 끼어들기(interruption)가 상호 결합된 두 화자의 공동 산물인 이체 문제(two-body problem)의 절반만을 평가할 뿐입니다. 우리는 양방향 쌍대(dyadic) 설정에서 전이중 모델을 평가하는 프레임워크인 DyaFDB를 제안합니다. 이 프레임워크에서는 두 모델이 협력적 또는 상충하는 목표를 가진 부여된 역할에 따라 직접 대화하며, 양측 모두 외부 심사위원을 통해 오프라인으로 점수가 매겨집니다. DyaFDB는 서로 다른 이해관계 속에서 턴을 어떻게 주고받는지, 부여된 역할을 어떻게 수행하는지와 같이 두 모델이 서로에게 어떻게 행동하는지 탐색합니다. 우리는 네 가지 과제를 140개의 시나리오로 구현하고 6개의 셀프 플레이(self-play) 및 크로스 플레이(cross-play) 조합을 포괄하여 7,560건의 대화를 녹음했습니다. 일련의 실험을 통해 우리는 한 모델의 행동 방식이 상대방을 지속적으로 변화시킨다는 점을 관찰했습니다. 따라서 우리는 각 모델이 상대방에게 시험관이자 수험자가 되어야 하며, 단일의 고정된 대화 상대는 두 역할을 모두 수행할 수 없음을 증명합니다. 우리는 사전 녹음된 오디오를 일절 배제한 채 두 전이중 모델 간의 시나리오, 역할 프롬프트(prompt), 녹음 프로토콜을 공개할 예정입니다.
본 논문은 제2회 다국어 대화형 음성 언어 모델(Multilingual Conversational Speech Language Model, MLC-SLM) 챌린지 및 워크숍에 제출된 HINTT 시스템을 소개한다. 우리는 다국어 화자 귀속 ASR(speaker-attributed ASR) 문제를 다루는데, 이는 시스템이 언제 누가 말했는지와 무엇을 말했는지를 판별해야 하는 과제이다. 우리는 이 문제에 대해 두 가지 모델링 전략을 조사한다: 화자 분할(diarization)과 음성 언어 모델(speech-LLM) 기반 ASR을 결합한 캐스케이드 파이프라인과, 화자 레이블, 타임스탬프, 전사(transcription)를 직접 생성하는 통합 음성 언어 모델이다. 최종 제출물은 캐스케이드 파이프라인을 기반으로 하며, 미세조정된 DiariZen 화자 분할 모델, 미세조정된 Qwen3-ASR 모델, 그리고 LLM 기반 생성적 오류 수정(generative error correction)으로 구성된다. 비교를 위해 동일한 공식 학습 데이터를 사용하여 VibeVoice-ASR을 통합 모델로서 미세조정하였다. 모든 과제별 미세조정과 모델 선택은 외부 데이터나 가짜 레이블(pseudo-label) 없이 오직 공식 MLC-SLM 데이터만을 사용하여 수행되었다. 실험 결과는 캐스케이드 시스템이 MLC-SLM Task 1 조건에서 더 신뢰성이 높음을 보여주는 한편, 통합 음성 언어 모델이 향후 화자 귀속 ASR에 유망한 방향을 제시함을 보여준다.
운율 강세(prosodic stress)는 문장 강세 탐지(sentence stress detection, SSD)와 단어 강세 탐지(word stress detection, WSD)를 모두 아우르는 자동 발음 평가(automatic pronunciation assessment, APA)의 핵심 요소입니다. SSD는 담화의 의미를 형성하는 의미론적으로 두드러진 단어를 강조하며, WSD는 어휘적 명확성을 보장하기 위해 각 단어 내에서 주 강세 음절을 식별합니다. 그러나 대부분의 기존 연구는 SSD와 WSD가 피치, 지속 시간, 강도와 같은 운율 단서에 공통으로 의존한다는 점을 간과한 채 두 작업을 독립적인 작업으로 다룹니다. 이러한 한계를 해결하기 위해, 본 논문에서는 새로운 모델링 패러다임을 통해 SSD와 보조 WSD를 결합하는 효과적인 SSD 접근법을 제안합니다. 또한, 각 강세 단어 범위 내에서 토큰(token) 수준의 SSD 확률을 집중시키는 단어 범위 강세 정규화기(word-span stress regularizer, WSR)를 도입합니다. TinyStress-15K 벤치마크에 대한 실험 결과, 제안하는 방법이 강력한 베이스라인들을 능가하며 완전한 구성을 통해 최고의 SSD 성능을 달성함을 보여줍니다.
악센트 분류기는 일반적으로 고정된 레이블 인벤토리로 학습(training)되며, 새로운 데이터가 제공되더라도 새로운 악센트 범주를 수용하지 못합니다. 더욱이 악센트 음성 코퍼스는 말뭉치 간 녹음 환경의 차이로 인해 상당한 클래스 불균형 및/또는 도메인 이동(domain shift)을 보이는 경우가 많습니다. 본 논문에서는 클래스 불균형과 코퍼스 간 도메인 이동에 강건한 영어 악센트 분류(classification)용 클래스 점진적 학습(class-incremental learning) 프레임워크인 AccentCL을 제안합니다. AccentCL은 동결된 Whisper-Large-v3 인코더에서 다층(multi-layer) 표현을 추출하며, 다수 악센트 클래스에 대한 바이어스(bias)를 줄이기 위한 불균형 인식 교차 엔트로피(cross-entropy) 손실(loss)과 학습 말뭉치 간의 분포 평균 이동을 최소화하는 도메인 평균 정렬 손실을 통해 최적화(optimization)됩니다. 이후 지식 보존을 위한 동결된 베이스 모델(model)과 새로 추가된 클래스에 대한 과도한 예측을 줄이기 위한 기존-신규 마진(margin) 손실을 사용하는 리플레이 기반 지속 학습(continual learning)을 통해 레이블 공간을 확장합니다. 5개 클래스 악센트 분류 태스크에서 AccentCL은 77.1%의 균형 정확도(balanced accuracy)와 76.9%의 매크로 평균 F1 점수를 달성했습니다. 또한 스페인어 악센트 및 중국어 악센트 영어라는 두 가지 새로운 악센트 범주를 점진적으로 통합하는 모델의 능력을 추가로 평가(evaluation)합니다. 사전학습(pre-training)된 모델에 스페인어 악센트 영어를 추가할 때 AccentCL은 기본 클래스에서 77.3%의 균형 정확도를 유지하면서 신규 클래스에서 83.3%의 F1을 달성합니다. 이어서 중국어 악센트 영어를 추가할 때 이전에 학습된 클래스에서 77.6%의 균형 정확도를 보존하면서 신규 클래스에서 61.8%의 F1을 달성합니다. 이러한 결과는 AccentCL이 전체 재학습 없이도 새로운 악센트 범주를 추가할 수 있도록 지원하는 동시에 강건한 지역 악센트 분류를 가능하게 함을 보여줍니다.