파킨슨병(PD)은 세계에서 두 번째로 흔한 신경퇴행성 질환이며, PD 환자의 70%에서 75%가 어느 시점에 음성 장애를 겪는다. PD는 남성에게 더 자주 나타나므로, 기존 연구들은 불균형한 데이터셋에 의존하는 경향이 있으며 이는 학습된 모델에 성별 편향을 유발할 수 있다. 본 연구는 딥러닝과 전통적인 기계학습 접근법을 사용하여 음성 기반 PD 탐지에서의 성별 차이를 조사한다. 우리는 세 가지 사전학습 음성 모델의 임베딩을 수작업 음향 특징 및 여러 분류기와 결합하여 음성 기반 PD 탐지를 평가하였다. 성별별 실험은 네 개의 지속 발성 데이터셋에서 성별, 질환 상태, 그리고 가능한 경우 연령을 통제한 균형 부분집합에 대해 수행되었다. 모든 녹음은 지속 발성 과제 중에 얻었다. 결과적으로 더 큰 데이터셋에서는 여성 화자가 남성 화자보다 더 정확하게 분류되었다. 성별별 결과는 모델이 한 성별로 학습되면 다른 성별에 일반화하지 못함을 보여 준다. 본 결과는 PD 탐지 시스템을 개발할 때 성별을 변수로 포함하는 것의 중요성을 강조한다.
대규모 언어 모델(LLM)은 의미 프레임과 함수 호출을 포함하여 자연어 지시로부터 구조화된 출력을 생성하는 데 점점 더 많이 사용되고 있다. 입력이 음성일 때 이 과제는 음성 의미 구문 분석이 되며, 이는 음성 LLM 또는 ASR-LLM 캐스케이드를 사용해 수행할 수 있다. 두 접근법 모두 텍스트 전용 과제 지도로 적응시킬 수 있지만, 음향 열화에 대한 상대적 강건성은 아직 명확하지 않다. 우리는 3B 및 7B 모델을 사용하여 세 개의 데이터셋에서 동일한 텍스트 형태의 지도 하에 이 접근법들을 비교하며, 깨끗한 음성과 다섯 가지 SNR 수준의 babble 잡음에서 평가한다. 결과는 음성 LLM이 명령 이해, 의도 예측, 함수 호출에서 대체로 더 나은 성능을 보이며 특히 심한 잡음 조건에서 그러함을 보여주는 반면, 세밀한 개체 예측에서의 향상은 일관성이 떨어진다. 추가 평가에서는 음성 LLM이 두 모델 규모 모두에서 ASR-LLM 캐스케이드보다 샘플당 평균 추론 시간이 짧음을 보인다.
텍스트에서 오디오와 비디오를 함께 생성하는 과제(T2AV)에서 실제로 두 모달리티가 어떻게 조율되는지, 특히 의미 일관성을 중심으로 살펴본다. 상세한 텍스트 프롬프트가 있으면 의미 일관성이 두 모달리티의 실제 조율에서 나온 것인지, 각각 텍스트를 따랐기 때문인지 구분하기 어렵다. 이를 구별하기 위해 내재적 공동성이라는 개념을 도입한다. 프롬프트에 명시되지 않은 세부 요소를 오디오와 비디오가 같은 방식으로 구현하는 능력을 뜻한다. ‘전기 기타 연주(electric guitar playing)’보다 덜 구체적인 ‘악기 연주(musical instrument playing)’처럼 의미를 일부만 지정하는 프롬프트로 최신 모델 네 개를 조사했으며, 내재적 공동성이 제한적임을 발견했다. 이를 개선하기 위해 표현을 정렬해 모달리티 간 조율을 돕는 간단한 사후 학습 방법 JointREPA를 제안한다. 기존 벤치마크는 의미가 상세한 프롬프트를 사용하므로, 프롬프트에서 의미를 일부만 지정했을 때의 내재적 공동성을 평가하는 UNSAIDBench를 도입한다. 서로 다른 모델 두 개와 UNSAIDBench를 포함한 벤치마크 세 개의 실험에서 JointREPA는 의미 일관성을 일관되게 개선했다.
엣지 무선 액세스 포인트(AP)에서 추가 비용 없이 물리 계층 인증을 수행하면 자원이 제한된 사물인터넷(IoT) 송수신기를 인증 정보 복제로부터 보호할 수 있다. 그러나 IEEE 802.11a/g의 도메인 간 무선 주파수 지문 식별(RFFI)에서는 신호 대 잡음비(SNR)에 따라 유리한 신호가 뚜렷하게 바뀐다. 전력 증폭기로 인해 비어 있는 널 부반송파에 나타나는 스펙트럼 재성장은 높은 SNR에서 실내 다중 경로의 영향을 견디지만 열잡음 바닥 아래에서는 이차적으로 약해진다. 신호가 실린 대역 내 활성 프리앰블은 낮은 SNR에서도 검출되지만 심한 다중 경로에서 성능이 떨어진다. 두 신호를 고정 방식으로 융합하면 성능이 최대 44.7%포인트 떨어진다. 우리가 아는 한 처음으로, 사전 정보 없이 물리적 SNR을 추정하는 게이트로 대역 내 활성 파형과 빈 널 부반송파의 재성장 신호를 동적으로 조절하는 RFFI 프레임워크를 제안한다. 플러그인형 게이트 기반 부대역 분리 융합과 비레이블 수신 데이터 기반 프로토타입 보정(GSDF-CAPC)이다. GSDF는 공동 학습에서 발생하는 20~35dB의 부대역 그래디언트 불균형을 피하고자, 동결된 사전학습 호스트 백본에 매개변수 4만 6,300개의 널 부반송파 플러그인 인코더(NS-Branch)를 연결한다. 원천 도메인에서 보정한 지연 64의 열잡음 SNR 게이트로 스케일을 표준화한 로짓과 게이트로 변환한 구면 임베딩을 융합한다. 낮은 SNR에서는 호스트의 결과로 정확히 되돌아간다. 대상 AP의 비레이블 수신 데이터에서는 순전파만 수행하는 비균형 최적 수송 보정(UOT-CAPC)이 패킷 도착 편향으로 이동한 프로토타입을 정렬한다. 패킷이 고르게 분배되면 매개변수가 필요 없는 균형 싱크혼 방식(U-CAPC)과 일치한다. DataPort-WiFi, WiSig, ORBIT MobRFFI에서 재학습하지 않은 GSDF는 백본 여덟 개의 짝지은 실행 72회 모두에서 우세했으며, 낮은 SNR에서의 성능 손실은 0.00%포인트였다. 엣지용 IB-Host + GSDF(활성 매개변수 9만 2,600~9만 3,300개, 단일 코어 CPU 지연 1.82ms)와 타이밍을 동기화한 GSDF-STO 및 GSDF-Tri의 세 벤치마크 매크로 F1은 57.50~65.05%였다. 패킷 5~10개로 이루어진 IoT 버스트에서는 89.04~100.00%였다.
말초 측정값으로부터 밤새 뇌전도(EEG) 스펙트로그램을 추정할 수 있다면 EEG 없이 획득한 기록에도 EEG 기반 수면 분석을 확장할 수 있다. 이 과제는 서로 다른 시간적 구조를 가진 신호의 간결한 표현을 필요로 한다. 우리는 호흡, 심전도(ECG) 또는 광용적맥파(PPG)를 지속 시간 인식 생리 단어를 통해 EEG 스펙트로그램으로 변환하는 프레임워크 Sleep2Word를 제안한다. 문맥 의존적 청킹을 기반으로 Sleep2Word는 생리 임베딩을 가변 길이의 청크로 묶고 그 내용과 지속 시간을 모달리티별 단어집에 함께 양자화한다. 이후 블록 자기회귀 변환기가 고정 길이 블록 안에서 목표 EEG 단어의 식별자와 출현별 지속 시간 보정값을 예측한다. 이 설계는 독립적인 소스 및 타깃 단어집을 수용하고 시간적 드리프트를 제한하며 자기회귀 디코딩 경로를 단축한다. 9개 데이터셋의 2만 건 이상의 PSG 사례로 학습한 Sleep2Word는 EEG 스펙트로그램 복원, 수면 단계 분류, 각성 탐지, 생존 예측에서 기존의 스펙트로그램 생성 기준선을 일관되게 능가한다. 밤새 시퀀스를 최대 69.7%까지 압축하면서도 학습된 단어는 정확도와 연산량 간의 유리한 절충을 제공한다. 수면 사건 분석은 학습된 단어가 모달리티 간의 생리학적으로 타당한 연관성을 포착함을 추가로 보여 주며, 해석 가능한 교차 모달 분석에 대한 잠재력을 시사한다.
현재의 오디오-비주얼 LLM(AVLLM)은 다수 화자가 대화하는 비디오에 대한 추론에 어려움을 겪는다. 이러한 비디오에서는 "누가 무엇을 말하는가"를 해소하는 것이 중요하며, 이를 위해 삼중모달(텍스트-오디오-시각) 결합이 필요하다. 이러한 문제의식에서, 우리는 AVLLM에서 이 삼중모달 결합이 어떻게 달성되는지를 체계적으로 조사한다. 구체적으로, 우리는 모달리티별 기호 변수를 활용하는 창발적 기호적 삼중모달 결합 메커니즘을 AVLLM에서 확인한다. 청각 및 시각 구성 요소를 각각 시간적 발화 순서와 공간적 개체 좌표를 포착하는 기호 변수로 인코딩함으로써, 모델은 이 추상 공간 안에서 모달리티 간 연결을 수립한다. 특히 삼중모달 결합이 실패할 때 그 붕괴가 주로 오디오와 시각 연결의 불일치에서 비롯됨을 밝힌다. 이 병목을 극복하기 위해, 우리는 기성 능동 화자 검출(ASD) 모델을 활용하는 오디오-비주얼 프롬프팅 방법을 도입한다. 활성 화자 위에 시각적 경계 상자를 덧씌우기만 하는 이 학습 불필요 접근법은 대화 중심의 네 개 벤치마크 전반에서 즉각적인 성능 향상을 가져온다. 더 나아가, ASD 프롬프트가 적용된 비디오에 대한 300 스텝 미만의 경량 미세조정은 이러한 향상을 세 개의 일반 AV 벤치마크로 확장하며, 이는 우리 방법의 일반화 가능성을 시사한다. 코드는 https://github.com/kaistmm/Who-Says-What 에서 이용할 수 있다.
기침 음향은 비침습적 결핵(TB) 선별에 유망하지만, 기계학습(ML) 모델이 질병 관련 음향을 포착하는지 아니면 데이터 수집 과정의 인공물을 포착하는지는 아직 해결되지 않았다. 본 연구는 세 개의 독립적인 데이터셋에 걸쳐 고전적 ML 및 딥러닝(DL) 기반 기침 TB 분류기의 데이터셋 간 일반화 성능을 평가하였다. 데이터셋 내부 성능은 중간 수준(ROC-AUC 최대 $0.76 \pm 0.06$)이었음에도 두 파이프라인 모두 일반화에 실패했으며, 외부 성능은 자주 0.6 미만이었고 이는 데이터 자체의 한계 가능성을 시사한다. 또한 오디오 표현이 TB 여부가 아니라 녹음 장치와 데이터셋에 따라 구조화되어 있고, 예측된 TB 확률이 CODA에서 국가 수준의 유병률을 따라가며, 장치 불일치는 전이 성능을 저하시키는 반면 장치가 다양한 학습은 이를 개선함을 관찰하였다. 아울러 임상 변수 기반 기준 모델은 더 일관되게 일반화되었으며(ROC-AUC $0.65-0.71$), 이는 음향의 수집 환경별 변동성이 낮은 일반화의 더 강력한 요인임을 나타낸다. 높은 데이터셋 내부 성능만으로는 충분하지 않다. 기침 기반 TB 모델이 임상적으로 준비되기 위해서는 외부 검증이 필수적이다.
노래 한 곡 전체를 뮤직비디오(MV)로 만들려면 은유적이고 여러 언어로 되어 있으며 후렴마다 반복되는 가사를 음악적 특성과 함께 해석하고, 그 결과로 얻은 이미지를 노래의 구조에 맞춰 배치해야 한다. 기존의 음악-비디오 시스템은 짧은 클립이나 오디오 반응형 영상을 생성하며 가사의 의미를 거의 활용하지 않는다. 본 논문은 LLM 시나리오 작가 에이전트와 감독 에이전트가 시간 정렬된 가사와 음악 분석으로부터 노래 전체의 시각적 서사를 계획하고, 공유 캐릭터 뱅크를 통해 등장인물의 일관성을 유지하며, 각 샷을 검증과 함께 시네마틱 또는 립싱크 렌더링으로 라우팅하는, 학습이 필요 없는 멀티 에이전트 프레임워크 AutoMV를 제시한다. 노래 전체 MV를 평가하기 위해 공개된 노래 30곡과 해당 공식 MV, 객관적인 오디오-시각 지표, 음악 산업 전문가가 평가하는 12개 기준의 평가표로 구성된 M2VBench를 구축한다. 전문가 평가 결과 AutoMV는 다른 기준선보다 우수하지만, 사람이 제작한 MV와는 여전히 격차가 있다. 절제 연구는 음악적 주제 정렬과 스토리텔링에 시간 정렬된 가사가 중요함을 보여 준다. 또한 본 평가표의 안내를 받는 선별된 멀티모달 판정 모델이 자동 시스템에 대한 전문가의 순위를 복원하지만, 세밀한 평가에서는 일부 불일치가 있음을 발견했다.
Nemotron 3.5 Transcribe는 Hugging Face Open ASR 리더보드에서 가중치가 공개된 모델 중 1위다. 이 모델의 효율적인 서빙에는 연산자 자체의 속도 외에도 고려할 점이 있다. 연속 배치 처리에서는 반복마다 작업량과 작업 구성이 달라지고, 이에 따라 가장 효율적인 커널 융합 단위도 달라진다. 본 연구는 오프라인에서 측정한 성능 교차점을 기준으로 실행할 때마다 지속 실행 메가커널과 융합 커널의 연쇄 실행 중 하나를 선택하는 서빙 엔진을 제시한다. 정확도를 유지하는 이 서빙 방식의 H100 SXM GPU 최고 처리량은 실시간의 4,345배로, 최적화한 vLLM의 최고치보다 1.39배 높았다. 동시성이 낮을 때는 최대 4.39배 빨랐다. B200에서는 최고 처리량이 실시간의 6,367배였으며, 측정한 가장 높은 동시성에서 vLLM의 1.64배였다. 단어 오류율(WER)은 1.91~1.93%였고 vLLM은 1.88~1.93%였다. 종단 간 완료 시간의 95번째 백분위수를 400ms 이내로 제한하면 동시 요청을 8배 더 많이 처리할 수 있었다. 매번 실행 방식을 선택하는 편이 어느 한 방식만 적용하는 것보다 나았다. 동시 요청 128개에서는 항상 메가커널을 쓰는 것보다 처리량이 23% 높았고, 동시 요청 8개에서는 항상 융합 커널을 쓰는 것보다 9% 높았다. 탐욕적인 전문가 혼합(MoE) 층 건너뛰기 등을 선택적으로 활성화하면, 더 높은 WER을 허용하는 오프라인 작업에서 B200의 처리량을 13~16% 추가로 높일 수 있었다.
배경. 임상의는 후두경 검사 전에 쉰 목소리의 가능성 높은 원인을 파악하고, 전암성 또는 악성 병변을 의심해야 하는지 평가한다. 음성 기반 인공지능(AI)이 후두경 검사 전 분류에 도움이 되는지는 알려지지 않았다. 방법. 한 기관에서 후두경 검사 전에 수집한 음성 녹음, 환자 정보, 음향 측정값을 사용해 환자별 평가 카드와 미리 정의한 악성 의심 경보를 생성하는 음성 대규모 언어 모델을 개발했다. 평가 카드에는 잠정 분류, 음성 품질 평가, 판단 근거가 담긴다. 평가 카드와 경보를 별도로 남겨 둔 테스트 세트와 이후에 수집한 코호트에서 평가했다. 순차 판독자 연구에서는 이비인후과 임상의 32명이 AI 없이 홀드아웃 사례를 분류했다. 1~2주 뒤 경보는 제공하지 않고 평가 카드만 제시해 처음의 분류 결과를 재검토하도록 했다. 결과. 대응되는 평가 800건에서 판독자 정확도는 재검토 전 49.8%에서 재검토 후 56.8%로 높아졌다(차이 7.0%포인트, 95% 신뢰구간 1.7~13.5, P < 0.001). 잘못된 분류에서 올바른 분류로 바뀐 사례는 99건, 반대로 바뀐 사례는 43건이었다(비율 2.30, 95% 신뢰구간 1.22~5.31). 모델이 맞았을 때 판독자 정확도는 14.7%포인트 높아졌고, 틀렸을 때는 8.7%포인트 낮아졌다. 모델의 잠정 분류 정확도는 홀드아웃 테스트에서 72%, 후속 시점 검증에서 67%였다. 악성 의심 경보는 각 평가에서 전암성 또는 악성 병변의 85.7%와 86.8%를 표시했다. 전암성 또는 악성 병변에 대한 민감도는 AI 지원 재검토 후 53.9%에서 75.0%로 높아졌다(차이 21.1%포인트, 95% 신뢰구간 4.3~42.0). 결론. 이 단일 기관 연구에서 임상의의 후두경 검사 전 분류 정확도는 AI 평가 카드를 검토한 뒤 높아졌다. 다만 순차 연구 설계에서는 AI의 지원 효과와 재평가 자체의 효과를 완전히 구분할 수 없다. 개선은 모델 판단이 맞았는지에 따라 달랐고, 임상의가 올바른 AI 평가만 뚜렷하게 골라 수용하는 양상은 확인되지 않았다. 악성 의심 경보를 포함한 무작위 평가와 외부 평가가 필요하다.
자연스러운 발화는 단어뿐 아니라 일부 단어에 두는 강조를 통해 의미를 전달한다. 그러나 대부분의 텍스트 음성 변환(TTS) 시스템은 강조를 고려하지 않는다. 기존의 강조 인식 TTS는 외부 강세 주석이 필요하고, 비지도 강세 탐지기는 합성과 분리돼 동작한다. 따라서 하나의 모델에서 강세 위치를 자동으로 찾고, 이를 자연스러운 운율로 구현하며, 사용자가 강조 위치까지 조절하는 기능을 모두 제공하는 시스템은 없었다. 이를 해결하기 위해 제안하는 통합 프레임워크 ProTTS는 TTS 모델 자체에서 강세를 탐지하고, 그 결과로 더 자연스럽고 조절할 수 있는 음성을 합성한다. FastSpeech_2의 분산 어댑터에 군집화 헤드를 넣어 모아 놓은 운율 특징으로부터 단어 강세를 직접 찾는다. 발견한 강세는 강세 단어의 음높이, 에너지, 지속 시간을 조정하는 강조용 분산 예측기의 입력이 된다. TTS 복원 손실과 군집화 손실로 강세를 구분할 수 있는 특징 공간을 함께 형성하도록 종단 간 학습한다. 어느 단계에서도 강세 레이블은 필요 없다. 추론 시에는 동일 아키텍처에 사용자 지정 강세 마스크를 입력해 강조 위치를 조정할 수 있다. 비원어민 데이터 ISLE, 원어민 학습 데이터 LibriTTS와 VCTK, 세 가지 평가 벤치마크 Tatoeba, TinyStress-15k, EmphAssess에서 ProTTS를 평가했다. 청취자는 ProTTS를 기준선보다 선호했다. 평균 의견 점수(MOS)는 3.96 대 3.12였으며 선호율은 83.5%였다. 강세 탐지에서는 ISLE의 독일어·이탈리아어권 제2언어 발화에서 F1이 각각 0.839와 0.861이었다. 비지도 기준선 0.70과 지도 기준선 0.82를 앞섰으며, Tatoeba에 제로샷으로 전이했을 때는 F1 0.933을 달성했다.
아랍어 고객 서비스에 전화한 사람은 자신의 방언으로 말하지만, 음성 인식기는 주로 현대 표준 아랍어(MSA)로 개발하고 평가한다. 인식기가 방언을 제대로 못 알아들으면 다른 기능이 도움을 주기 전에 통화가 막힌다. 본 연구는 EchoNova에서 운영하는 아랍어 음성 에이전트의 인식기 Sada-ASR을 제시한다. MSA와 방언 여덟 가지를 담은 120시간 테스트 세트에서 Microsoft, ElevenLabs, Google, OpenAI, Speechmatics, IFM, Cohere, NVIDIA, Audar의 비교 시스템 11종을 포함한 12종 가운데 단어 및 문자 오류율이 가장 낮았다. 단어 오류율은 11.69%였으며, 가장 우수한 비교 시스템인 Microsoft MAI-Transcribe-2는 13.51%였다. 해당 시스템의 고정된 숫자 및 문자 표기 관례에 영향을 받지 않은 음성에서도 0.74%포인트 앞섰다. 아랍어 변이별로 평균한 단어 오류율은 15.52% 대 16.96%였다. 가장 큰 우위는 오만 방언(4.30%포인트), 이집트 방언(3.78%포인트), 사우디 방언(2.19%포인트)에서 나왔다. 시리아 방언에서는 성능이 비슷했고, 레바논 방언에서는 24.96% 대 23.05%로 뒤졌다. 주로 레바논 방언 단어를 현대 표준 아랍어 형태로 쓰고 발화를 덜 그대로 옮겼기 때문이다. 공개 테스트 세트 여섯 개에서 현재 리더보드 채점 방식의 평균 단어 오류율은 17.17%로 조사한 모든 공개 수치보다 낮았다. 비교 수치에는 Falcon-ASR 20.92%, Jais-ASR 22.85%, Audar-ASR-V1-Turbo 23.17%가 포함된다. 다만 이 시스템들은 같은 채점 방식을 사용했다고 밝히지 않았으므로 비교는 참고 수준이다. Sada-ASR의 데이터 파이프라인과 방법론을 설명하고, 테스트 세트 중 20시간 분량을 채점 코드와 함께 공개한다.
개방 어휘 키워드 검출(KWS)은 추론 시 사용자가 임의의 키워드를 등록할 수 있게 한다. 그러나 문자 또는 음소를 사용하는 텍스트 인코더는 학습에서 정한 고정 기호 어휘에 의존한다. 이 때문에 학습에서 보지 못했거나 외형이 비슷한 기호, 예를 들어 동형 문자, 숫자와 기호로 바꿔 쓰는 리트 표기(l33tspeak), 악센트가 붙은 문자를 처리하기 어렵다. 본 연구는 학습한 임베딩을 조회하는 대신 렌더링한 글리프로 문자를 표현하는 개방 어휘 KWS 프레임워크 PIXEL-KWS를 제안한다. 각 문자를 회색조 이미지로 렌더링하고 경량 합성곱 신경망(CNN)으로 인코딩한다. 이렇게 텍스트 인코더는 고정 어휘에 의존하지 않고 시각적 형태를 바탕으로 일반화한다. PIXEL-KWS와 조건을 맞춘 문자 기반 비교 모델은 LibriPhrase-hard에서 각각 등오류율(EER) 9.57%와 9.55%, LibriPhrase-easy에서 0.43%와 0.41%를 기록했다. 사전학습과 합성 데이터 없이 공개된 모든 기준선보다 높은 성능을 냈다. PIXEL-KWS는 동형 문자 및 리트 표기를 통한 기호 수준 교란에 대해 훨씬 강건했다. 이 결과는 글리프 표현이 실제 환경에서 강건한 개방 어휘 키워드 검출을 구현하는 간단하고 효과적인 방법임을 보여 준다.
중국어 음성을 미국 수어(ASL) 글로스, 즉 수어 동작의 텍스트 표기로 동시에 번역하려면, 진행 중인 발화에서 각 글로스를 언제 확정할 수 있는지 판단해야 한다. 고정 Wait-k는 원문과 글로스 사이의 어순 변경에 적응하지 못하고, 참조 이력만 사용해 학습하면 노출 편향이 생긴다. 본 연구는 중국어 음성 연쇄 시스템에서 영어 접두 문맥을 ASL 글로스로 바꾸는 행동 정책 CausalGloss를 제시한다. 어휘 및 의미 근거, 제한된 대기 시간, 부정 표현 제약, 글로스를 한꺼번에 쓰는 WRITE 행동, 불완전한 이력에서의 복구를 결합한다. LLM이 생성한 약한 참조를 갖는 How2Sign 기반 고정 예제 500개의 벤치마크에서, CausalGloss는 고정 Wait-k의 성능 경계를 개선했다. k = 5에서 시드 세 개로 학습한 TransLLaMA 방식의 적응형 기준선과 토큰 F1이 비슷했으며(0.7047 대 0.7067), LAAL은 54.4% 낮았다. 사람이 작성한 CLERC Epee 글로스 참조에 대해서는 토큰 F1 0.649를 달성했다. 시드 세 개의 TransLLaMA 방식 k = 5 및 고정 k = 5, 7 기준선을 파레토 지배하면서 LAAL을 58.2~69.9% 줄였다. 구성 요소 제거 실험은 출력 시점의 효과와 내용 보존의 효과를 구분한다. 합성 중국어 음성 연쇄에서도 계산 비용을 고려한 지연 시간 개선이 작게나마 유지됐으나, 출력은 여전히 지나치게 길었다. 발화 19,924개, 총 36.54시간의 통제 평가 말뭉치 ChineseSpeech-ASLGloss-v1도 구축했다.
지시 기반 음성 합성(ITTS)은 사용자가 자연어로 음성 특성을 지정할 수 있게 한다. 대화형 AI 캐릭터 음성부터 하위 음성 모델용 합성 학습 데이터에 이르는 응용은 동일한 넓은 범주가 반복적으로 요청될 때 시스템이 다수의 서로 다른 음성을 생성하는 데 의존한다. 기존 연구 중 ITTS 출력이 실제 음성과 비교하거나 속성 값 간에 비교했을 때 실제로 다양한지 감사한 사례는 없다. 우리는 표현 능력을 독립적으로 검증한 화자 임베딩을 사용하여 7개의 오픈소스 ITTS 시스템을 평가한다. 모든 시스템은 실제 음성보다 현저히 좁은 화자 분포를 생성한다. 더욱이 대부분의 시스템에서 여성 프롬프트는 남성 프롬프트보다 덜 다양한 음성 풀을 생성한다. 반면 억양과 감정 프롬프트는 대부분의 시스템에서 화자 다양성을 거의 바꾸지 않지만, 북미 영어와 중립적 발화로 향하는 강한 제어 가능성 편향을 드러낸다. 이러한 결과는 다양성과 제어 가능성이 서로 보완적인 약점을 포착하며, 둘 중 어느 하나만으로는 ITTS를 평가하기에 충분하지 않음을 보여 준다. 코드와 데이터는 https://github.com/dlion168/ITTS-Speaker-Diversity 에서 이용할 수 있다.
음성 토크나이저는 오디오를 이산 단위로 변환하여 언어 모델이 음성을 처리하고 생성할 수 있게 한다. 목표는 화자의 목소리와 전달 방식을 복원할 수 있을 만큼의 세부 정보를 보존하면서도 간결하고 텍스트와 유사한 표현을 학습하는 것이다. 본 논문은 시간에 따라 변하는 정보(내용과 운율)를 정적인 구성 요소(화자 정체성과 녹음 조건)로부터 분리하는 인수분해 토크나이저인 Facto를 제안한다. 자기지도 특징에 대한 최근의 선형 인수분해 방법을 기반으로 하여, 이를 확장해 보지 못한 화자도 처리할 수 있도록 한다. 이후 인수분해된 공간을 군집화하고, 그 결과로 얻은 토큰으로부터 오디오를 복원하는 경량 디코더를 학습한다. 군집화 전에 정적 구성 요소를 제거함으로써 본 토큰은 작은 잡음 섭동에 더 강건해진다. 이를 다양한 잡음 조건에서 토큰 안정성을 시험하여 검증한다. 다음으로 Facto의 수렴 및 확장 특성을 이론적으로 분석하여, 학습 화자 수가 늘어남에 따라 인수분해가 얼마나 개선되는지를 정량화한다. 마지막으로 다양한 하위 과제에서 Facto를 평가한다. 토큰 안정성이 높을수록 텍스트 음성 변환 성능이 향상되며, 음성 변환과 음성 언어 모델링에서도 경쟁력 있는 결과를 얻음을 보인다. 코드와 체크포인트는 https://github.com/ubisoft/ubisoft-laforge-facto/ 에서, 데모 페이지는 https://ubisoft-laforge.github.io/speech/facto/ 에서 확인할 수 있다.
저자원 언어에서는 하나의 공개 리더보드가 진전을 가늠하는 유일한 공유 척도인 경우가 많으며, 따라서 리더보드를 향해 최적화하는 것은 곧 하나의 테스트 분포를 향해 최적화하는 것이다. 우리가 whisper-large-v3-turbo에 저랭크 미세 조정을 적용한 모델은 MediaSpeech, Common Voice 17, 그리고 다섯 개 세트로 구성된 터키어 커뮤니티 보드에서 1위를 차지했으며, MediaSpeech에서 단어 오류율 9.02%로 최고 베이스라인의 11.93%를 앞섰다. 그러나 비공개 분할에서는 수정하지 않은 whisper-large-v3에 뒤처졌다. 우리는 이 분할을 증거가 아닌 경보로 간주하며, 주요 발견은 이 분할에 의존하지 않는다. 모델 선택과 독립적으로 구축한 스무 개 조건의 FLEURS-TR 벤치마크에서, 수정하지 않은 베이스 모델은 모든 조건에서 모든 미세 조정 모델을 능가했으며, 다섯 가지 열세 모두 쌍체 부트스트랩에서 0을 넘어서는 것으로 확인되었다. 우리는 이를 음향적 협소화(acoustic narrowing)라고 부른다. 미세 조정이 모델이 잘 처리하는 음향 범위를 축소시키는 현상이다. 핵심 발견은 방법론적인 것이다. 협소화를 탐지하기 위한 우리의 자체 프록시는 이를 드러내기는커녕 오히려 은폐하여, 협소화된 미세 조정 모델을 더 견고한 베이스 모델보다 높게 평가했다. 모델 선택에는 독립적으로 생성된 분포에서 얻은 프록시가 필요하며, 동일한 출처의 데이터를 더 늘리는 것으로는 충분하지 않다. 재구축한 파이프라인은 협소화를 줄인다. 출처가 공개된 더 큰 혼합 데이터, 더 높은 용량의 베이스 모델, 그리고 궤적 평균화를 곁들인 베이스 참조 기반 선택이 그 구성 요소이다. 이 파이프라인은 출처가 동일한 세 축에서 우위를 보이며 FLEURS-TR에서는 8.16% 대 8.26%로 동률을 이루고, 구간은 0을 포함한다. 이러한 동등성은 두 번째 추론 스택과 디코더를 고정한 전체 에폭 조건에서도 유지된다. 이 회복은 하나의 궤적에 해당하며, 검증된 레시피가 아니라 시연이다. 카자흐어에서는 우리가 구축하지 않은 코퍼스에서 역전 현상이 다시 나타난다. 학습 가능한 파라미터 비중을 맞춘 조건에서, 미세 조정은 각각 세 개의 시드에 걸쳐 어텐션 인코더-디코더 모델의 풀 외부 오류를 2.23포인트 높였고, CTC 인코더 전용 모델의 오류는 3.46포인트 낮추었다. 따라서 협소화는 적응 대상 시스템에 따라 달라진다. 우리는 견고성을 우선하는 터키어 ASR 리더보드인 TurkSpeak Bench를 공개한다.
멀티모달 LLM은 하나의 오디오 클립으로부터 받아쓰기와 함께 감정, 성별, 언어, 개체명을 동시에 레이블링하는 단일 시스템으로, 전통적인 전문 음성 모델의 연쇄 구조를 대체할 수 있을 것으로 기대된다. 그러나 대부분의 벤치마크는 여전히 이러한 과제를 개별적으로, 그리고 주로 영어로 평가한다. 본 연구는 공동 이해를 위한 5개 언어(en/de/es/fr/it) 벤치마크이자 학습 방법인 OmniTag-Bench를 소개한다. 이는 하나의 오디오 클립을 입력하면 하나의 JSON 객체(전사문, 감정, 성별, LID, 토큰 수준 NER)를 출력하는 방식이다. 통합된 프롬프트와 채점기를 사용하여 공개 멀티모달 LLM 열 개와 LoRA로 미세 조정한 Qwen3-Omni를 평가한다. 종합 점수를 넘어, OmniTag-Bench는 체계적인 실패 양상을 드러낸다. 여러 강력한 모델이 비영어 음성을 영어로 받아쓰거나 번역하여 다국어 WER를 부풀린다. 미세 조정은 NER, 감정, WER에서 기반 모델을 개선하며, 독립적인 사람 레이블 감정 코퍼스에서 정확도를 거의 두 배로 높여 의사 레이블 모방을 넘어서는 전이 가능한 이득을 시사한다. 미세 조정된 모델은 보지 못했으나 관련된 언어로도 일반화되어, 보류된 네덜란드어로 전이된다. 프롬프트, 채점기, 레이블링 파이프라인을 공개한다.
대규모 공개 데이터셋은 텍스트와 비전에서 음성과 일반 오디오에 이르기까지 최근 기계학습의 발전을 이끌어 왔다. 음악은 여전히 예외로 남아 있는데, 저작권이 학습용 오디오의 재배포를 막기 때문이며, 특히 혼합 음원이 아닌 개별 스템이 필요한 최신 과제에서 그러하다. 기존 멀티트랙 자료는 현실성, 규모, 라이선스 사이에서 절충이 필요하며, 합성 대안은 독점 VST나 약한 스템을 만드는 단순한 공개 렌더링에 의존한다. 본 논문은 공개 도메인 PDMX 데이터셋으로부터 렌더링한, 공개 라이선스의 스템 말뭉치인 SPDMX를 소개한다. SPDMX는 CC BY 4.0 라이선스 하에 44.1 kHz로 $5{,}469$ 곡-시간으로 구성되며(이 중 $2{,}734$ 곡-시간, 즉 $34.8\%$가 멀티트랙 악보이다), 짝을 이루는 MIDI와 본 데이터셋을 PDMX의 원래 메타데이터에 연결하는 식별자를 포함한다. 우리가 아는 한, SPDMX의 멀티트랙 부분집합은 곡-시간 기준으로 공개 라이선스 합성 멀티트랙 부분집합 중 가장 크다. 이어서 SPDMX를 음원 분리와 전사 모두를 위한 데이터셋으로 시연하며, 증가된 규모가 합성 데이터로 모델을 더 잘 학습시킬 수 있음을 보인다. 본 논문은 SPDMX와 함께, 다른 기호 음악 데이터셋에 재사용할 수 있는 공개 생성 파이프라인을 공개한다.
음성 언어 모델(SLM)이 개인 기기에서 공유된 다중 사용자 환경으로 옮겨 가면서, 그 응답은 단어 자체보다 훨씬 많은 것을 고려해야 한다. 누가 말하는지, 어떻게 들리는지, 대화가 어디에서 이루어지는지는 각각 무해한 요청을 안전하지 않거나, 불공정하거나, 프라이버시를 침해하는 요청으로 바꿀 수 있다. 그러나 기존 벤치마크는 대체로 기초적인 오디오 이해에 초점을 맞추거나, 개별 위험을 따로 연구하거나, 본질적으로 유해한 콘텐츠와 음향적 맥락 때문에 비로소 문제가 되는 콘텐츠를 뒤섞는다. 본 논문은 안전성, 공정성, 프라이버시의 세 차원에 걸쳐 SLM의 사회적 정렬을 공동으로 평가하는 최초의 벤치마크 중 하나인 VoxSafeBench를 소개한다. VoxSafeBench는 2단계 설계를 채택한다. Tier1은 짝을 이룬 텍스트와 오디오 입력으로 콘텐츠 중심 위험을 평가하고, Tier2는 전사문은 무해하지만 적절한 응답이 화자, 준언어적 단서, 주변 환경에 좌우되는 오디오 조건부 위험을 대상으로 한다. Tier2를 검증하기 위해 중간 단계의 지각 프로브를 포함하였으며, 최첨단 SLM이 이러한 음향 단서를 성공적으로 감지하면서도 이에 적절히 행동하지 못함을 확인하였다. 이중 언어를 포괄하는 22개 과제 전반에서, 텍스트에서는 견고해 보이는 안전장치가 음성에서는 흔히 약화됨을 발견하였다. 화자 및 장면 조건부 위험에서는 안전 인식이 떨어지고, 인구통계적 차이가 음성으로 전달될 때 공정성이 무너지며, 맥락 단서가 음향적으로 주어질 때 프라이버시 보호가 흔들린다. 종합하면 이러한 결과는 만연한 음성 그라운딩 격차를 드러낸다. 현재의 SLM은 관련 사회 규범을 텍스트에서는 자주 인식하지만, 결정적 단서가 음성에 근거해야 할 때는 이를 적용하지 못한다. 코드와 데이터는 https://amphionteam.github.io/VoxSafeBench_demopage/ 에 공개되어 있다.