Massive Sound Embedding Benchmark(MSEB)는 오디오 모델의 기능적 범위를 평가하는 표준으로 자리 잡았습니다.
초기 기준선은 특화된 인코더에 초점을 맞췄지만, 최근에는 오디오 네이티브 대규모 언어 모델(LLM)이 하나의 멀티모달 백본으로 복잡한 작업별 파이프라인을 대체할 수 있다는 점이 주목받고 있습니다.
이 논문은 Gemini와 GPT 계열을 포함한 주요 LLM들을 MSEB의 8개 핵심 능력 전반에서 엄밀하게 평가해, 오디오-텍스트 성능 균형과 효용을 점검합니다.
평가 결과, 성능과 강건성 측면에서 여전히 뚜렷한 모달리티 갭이 남아 있는 것으로 나타났습니다.
다만 어떤 모델링 방식이 최적인지에 대한 경험적 증거는 아직 충분히 결론적이지 않습니다.
오디오 네이티브 구조와 캐스케이드 구조 중 어떤 것을 선택할지는 특정 사용 사례의 요구사항에 크게 좌우됩니다.
특히 지연 시간, 비용, 추론 깊이에 대한 가정이 아키텍처 선택을 결정하는 핵심 요소로 제시됩니다.
양이 음원 위치 추정(binaural sound source localization, SSL)은 좌우 귀에 도달하는 미세한 음향 차이를 바탕으로 소리의 방향을 파악하는 문제로, 로봇 청각, 보조 청각 장치, 공간 인지 시스템에서 매우 중요한 연구 주제입니다. 최근에는 트랜스포머(transformer) 계열처럼 복잡한 모델을 확장하는 흐름이 두드러졌지만, 이 논문은 성능의 핵심이 반드시 아키텍처의 크기에만 있지 않으며, 어떤 시간-주파수 특징(time-frequency features)을 입력으로 설계하느냐가 일반화 능력을 크게 좌우할 수 있다는 점에 주목합니다. 이를 검증하기 위해 저자들은 복잡도를 의도적으로 낮춘 합성곱 신경망(convolutional neural network, CNN) 회귀 모델을 사용하고, 크기 스펙트로그램(magnitude spectrogram), 위상 스펙트로그램(phase spectrogram), 양이 간 레벨 차이(interaural level difference, ILD), 양이 간 위상 차이(interaural phase difference, IPD)의 조합을 체계적으로 비교합니다. 이러한 설계는 모델 자체를 키워 성능을 높이는 대신, 입력 표현의 차이가 실제로 얼마나 큰 영향을 주는지 분리해서 관찰할 수 있게 해 줍니다.
실험은 분포가 잘 맞는 도메인 내(in-domain) 데이터와, 머리 관련 전달 함수(head-related transfer function, HRTF)가 불일치하고 소스 종류도 다양한 도메인 외(out-of-domain) 데이터로 나누어 진행되어, 특징 설계의 강건성을 더욱 엄밀하게 검증합니다. 도메인 내 speech-only 환경에서는 ILD와 IPD처럼 귀 사이의 차이를 직접 인코딩하는 두 가지 특징만으로도 충분히 높은 성능을 낼 수 있었으며, 이는 공간 단서의 핵심 정보가 비교적 간결한 표현에 잘 담길 수 있음을 보여 줍니다. 그러나 자연음과 합성음을 모두 포함하고 음향 구조가 훨씬 복잡한 도메인 외 환경에서는, 채널 스펙트로그램과 ILD, IPD를 함께 사용하는 더 풍부한 입력이 필요했고, 단순히 모델을 복잡하게 만드는 것보다 표현을 적절히 조합하는 것이 더 중요하다는 사실이 드러났습니다. 특히 HRTF가 맞지 않는 조건에서도 명시적인 양이 단서가 성능 저하를 크게 완화했으며, 이는 실제 환경에서의 일반 목적 위치 추정에 매우 유의미한 결과입니다.
이 연구의 또 다른 강점은 평가 관점의 세밀함에 있습니다. 평균 절대 오차(mean absolute error, MAE)를 중심으로 전체 성능을 비교하는 동시에, 소스 종류와 고도(elevation)에 따라 어떤 특징이 강하고 약한지를 세분화해 분석함으로써, 특정 데이터셋에만 잘 맞는 입력과 보다 범용적인 입력을 구분해 냈습니다. 그 결과, speech처럼 구조가 비교적 안정적인 신호에서는 간결한 특징 조합이 효율적이지만, 잡음, 타악기성 소리, 잔향이 섞인 음향처럼 다양한 패턴이 등장하는 조건에서는 raw 채널 정보와 명시적 양이 단서를 함께 담는 구성이 더 견고하다는 결론에 도달합니다. 또한 최신 트랜스포머 및 기타 회귀·분류 모델과의 비교에서도, 최적의 특징 조합을 사용한 저복잡도 CNN이 경쟁력 있는 성능을 보이며, 모델 복잡도보다 입력 설계가 성능의 중요한 병목이라는 점을 다시 한 번 입증합니다. 결국 이 논문은 binaural SSL에서 표현 설계가 여전히 핵심적인 연구 축임을 보여 주며, 도메인 특화 응용에서는 간결한 특징이, 범용 응용에서는 더 풍부한 입력 구성이 필요하다는 실용적 지침을 제시합니다.
현재 비디오 생성 모델은 오디오 요소를 간과하는 경향이 있으며, 오디오-비주얼 콘텐츠를 생성하는 기존 접근 방식은 종종 연속적인 파이프라인에 의존하여 비용을 증가시키고 오류를 축적하며 전체 품질을 저하시킵니다. Veo 3와 Sora 2와 같은 시스템은 동시 생성의 중요성을 강조하지만, 공동 멀티모달 모델링은 아키텍처, 데이터 및 학습에서 고유한 도전 과제를 제시합니다. 또한, 기존 시스템의 폐쇄형 소스 특성은 이 분야의 발전을 제한합니다. 본 연구에서는 고품질의 동기화된 오디오-비주얼 콘텐츠를 생성할 수 있는 오픈 소스 모델인 MOVA(모스 비디오 및 오디오)를 소개합니다. MOVA는 32억 개의 파라미터를 가진 Mixture-of-Experts(MoE) 아키텍처를 사용하며, 추론 시 18억 개의 파라미터가 활성화됩니다. 이 모델은 이미지-텍스트에서 비디오-오디오로의 생성 작업(IT2VA)을 지원합니다. 모델 가중치와 코드를 공개함으로써 연구를 발전시키고 창작자 커뮤니티를 활성화하는 것을 목표로 하고 있습니다. 공개된 코드베이스는 효율적인 추론, LoRA 파인튜닝 및 프롬프트 향상을 위한 포괄적인 지원을 제공합니다.
VibeVoice는 여러 화자의 긴 형식 음성을 합성하기 위해 설계된 혁신적인 모델로, 다음 토큰 디퓨전(next-token diffusion) 기법을 활용하여 연속 데이터를 자가 회귀적으로 모델링합니다. 이 모델의 핵심은 새로운 연속 음성 토크나이저로, 이는 기존의 Encodec 모델에 비해 데이터 압축 효율성을 80배 향상시키면서도 유사한 성능을 유지합니다. 이러한 토크나이저는 오디오의 충실도를 효과적으로 보존하며, 긴 시퀀스의 처리에 있어 계산 효율성을 크게 개선합니다. VibeVoice는 최대 4명의 화자를 포함하여 90분까지의 긴 형식 음성을 합성할 수 있으며, 진정한 대화의 "느낌"을 포착하여 기존의 오픈 소스 및 독점 대화 모델을 초월하는 성능을 보여줍니다.
VibeVoice의 음성 합성 과정은 두 가지 별도의 토크나이저를 통해 이루어집니다. 첫 번째는 음향 토크나이저로, 변량 오토인코더(Variational Autoencoder, VAE)의 원리를 채택하여 자가 회귀 모델링 환경에서의 잠재적 분산 붕괴 문제를 완화합니다. 이 과정에서 입력 오디오는 잠재 분포의 매개변수로 매핑되며, 재매개변수화 기법을 통해 샘플링됩니다. 두 번째는 의미적 토크나이저로, 음향 토크나이저와 유사한 계층적 아키텍처를 가지지만, 결정론적 콘텐츠 중심의 특성 추출을 목표로 하며 자동 음성 인식(ASR)을 대리 작업으로 사용합니다.
VibeVoice는 대규모 언어 모델(Large Language Model, LLM)을 핵심 시퀀스 모델로 사용하며, 전문화된 오디오 인코딩 및 디퓨전 기반 디코딩 모듈과 통합하여 고충실도의 다중 화자 음성 합성을 가능하게 합니다. 모델 입력은 사용자가 지정한 음성 폰트 특징과 텍스트 스크립트를 결합하여 형성되며, 생성된 음성 세그먼트는 두 개의 토크나이저를 통해 인코딩됩니다. 디퓨전 헤드는 LLM의 각 토큰의 숨겨진 상태에 조건화되어 음성을 스트리밍 방식으로 합성하며, 훈련 중에는 깨끗한 음향 VAE 특성에 추가된 노이즈를 예측하여 최적화됩니다.
VibeVoice의 훈련 과정에서는 사전 훈련된 음향 및 의미적 토크나이저가 동결 상태로 유지되며, LLM 및 디퓨전 헤드의 매개변수만 학습됩니다. 이러한 접근 방식은 모델의 효율성과 성능을 극대화하며, VibeVoice가 다중 화자 음성을 합성하는 데 있어 중요한 기여를 하고 있음을 보여줍니다.
본 연구는 연속적인 시각 학습용 새로움 게이팅 메모리(SGM)를 실시간 화자 분할로 옮긴다. 가중치를 고정한 인코더와 보정된 새로움 신호를 사용한다. 이 신호는 한 번의 관측으로 에피소드 메모리에 기록할지를 정하며, 기록은 주기적 재생으로 공고화된다. 스트리밍 화자 분할 시스템은 새로 들어온 음성이 이전에 들은 화자의 음성인지 새 화자의 음성인지 판단해야 한다. 이처럼 이미 아는 것과 새로운 것을 구분하는 일은 새로움 게이트가 처리하도록 설계된 판단이다. 미세조정 후 가중치를 고정한 DiariZen을 백본으로 사용하는 온라인 시스템 SGM-Diar는 회의 종료 시까지 결과를 수정할 수 있는 모드에서, 단순 온라인 기준선과 오프라인 오라클 사이의 분할 오류 격차를 줄였다. AMI-SDM에서는 격차 9.2포인트 중 4.8포인트(52%), VoxConverse에서는 2.3포인트 중 1.9포인트(82%)를 좁혔다. 보정은 개발 데이터에서 확정했으며, 다른 도메인에 적용할 때 다시 조정하지 않았다. AMI 회의 세 건과 VoxConverse 세션 다섯 건에서 시드 하나로 실행한 결과이므로, 절대 오류율보다 조건 사이의 순위에 의미가 있다. 오류율 외에 게이트의 동작도 직접 측정했다. 한 번 들은 화자의 재현율은 0.857이었다. 화자가 익숙해질수록 새로움 반응이 약해졌으며, 화자 재식별은 중간에 침묵이 얼마나 길었는지에 영향을 받지 않았다. 실제로는 새 화자가 아닌데 새 화자로 판단한 비율은 0.001이었다. 구성 요소 비교 실험 두 건에서 시각 SGM 연구의 핵심 예측도 음성에서 재현됐다. 이동 창으로 기록을 재생하는 방식이 재생하지 않는 것보다 성능이 낮았다. 메모리는 회의 안에서만 쓰이고 종료와 함께 지워진다. 실행 중에는 그래디언트로 시스템을 갱신하지 않는다. SGM-Diar를 개념 증명으로 제시하고 한계를 명시한다.
마비말장애는 말 명료도를 낮춘다. 조음이 점진적으로 달라지는 양상을 포착하려면 세밀한 피드백을 바탕으로 스스로 재활 훈련을 할 수 있어야 한다. 일본어는 모라를 기준으로 발화의 시간 구조가 정해지고 특유의 자음·모음 구조를 가지므로, 모라 단위로 피드백을 제공하는 것이 자연스럽다. 최근 시각화 방법은 거리를 기준으로 피드백을 제공하는 방식을 탐구했으나 대부분 모음에 한정된다. 생성 모델에서 얻은 임베딩은 순간적인 스펙트럼 구조를 평활화하는 경우가 많아 자음으로 확장하기 어렵다. 본 연구는 일본어 자음 모라를 시각화하는 시스템을 제안한다. 조음 편차를 정상 참조 발화에 대한 시간 거리와 스펙트럼 거리로 정의한 2차원 공간에 매핑한다. 실험 결과, 자음 범주는 이 공간에서 일관되게 분리됐다. 실루엣 계수는 0.5를 넘었고 원점 기준 ROC-AUC는 0.86을 넘었다. 실제 마비말장애 발화에서 불명확한 발음을 선별했을 때 ROC-AUC는 0.897이었다. 교란 실험으로 시간 방향과 스펙트럼 방향의 변화가 서로 직교함을 확인했다. 이로써 재활에 활용할 수 있는 물리적으로 해석 가능한 매핑을 제공한다.
아랍어 고객 서비스에 전화한 사람은 자신의 방언으로 말하지만, 음성 인식기는 주로 현대 표준 아랍어(MSA)로 개발하고 평가한다. 인식기가 방언을 제대로 못 알아들으면 다른 기능이 도움을 주기 전에 통화가 막힌다. 본 연구는 EchoNova에서 운영하는 아랍어 음성 에이전트의 인식기 Sada-ASR을 제시한다. MSA와 방언 여덟 가지를 담은 120시간 테스트 세트에서 Microsoft, ElevenLabs, Google, OpenAI, Speechmatics, IFM, Cohere, NVIDIA, Audar의 비교 시스템 11종을 포함한 12종 가운데 단어 및 문자 오류율이 가장 낮았다. 단어 오류율은 11.69%였으며, 가장 우수한 비교 시스템인 Microsoft MAI-Transcribe-2는 13.51%였다. 해당 시스템의 고정된 숫자 및 문자 표기 관례에 영향을 받지 않은 음성에서도 0.74%포인트 앞섰다. 아랍어 변이별로 평균한 단어 오류율은 15.52% 대 16.96%였다. 가장 큰 우위는 오만 방언(4.30%포인트), 이집트 방언(3.78%포인트), 사우디 방언(2.19%포인트)에서 나왔다. 시리아 방언에서는 성능이 비슷했고, 레바논 방언에서는 24.96% 대 23.05%로 뒤졌다. 주로 레바논 방언 단어를 현대 표준 아랍어 형태로 쓰고 발화를 덜 그대로 옮겼기 때문이다. 공개 테스트 세트 여섯 개에서 현재 리더보드 채점 방식의 평균 단어 오류율은 17.17%로 조사한 모든 공개 수치보다 낮았다. 비교 수치에는 Falcon-ASR 20.92%, Jais-ASR 22.85%, Audar-ASR-V1-Turbo 23.17%가 포함된다. 다만 이 시스템들은 같은 채점 방식을 사용했다고 밝히지 않았으므로 비교는 참고 수준이다. Sada-ASR의 데이터 파이프라인과 방법론을 설명하고, 테스트 세트 중 20시간 분량을 채점 코드와 함께 공개한다.
개방 어휘 키워드 검출(KWS)은 추론 시 사용자가 임의의 키워드를 등록할 수 있게 한다. 그러나 문자 또는 음소를 사용하는 텍스트 인코더는 학습에서 정한 고정 기호 어휘에 의존한다. 이 때문에 학습에서 보지 못했거나 외형이 비슷한 기호, 예를 들어 동형 문자, 숫자와 기호로 바꿔 쓰는 리트 표기(l33tspeak), 악센트가 붙은 문자를 처리하기 어렵다. 본 연구는 학습한 임베딩을 조회하는 대신 렌더링한 글리프로 문자를 표현하는 개방 어휘 KWS 프레임워크 PIXEL-KWS를 제안한다. 각 문자를 회색조 이미지로 렌더링하고 경량 합성곱 신경망(CNN)으로 인코딩한다. 이렇게 텍스트 인코더는 고정 어휘에 의존하지 않고 시각적 형태를 바탕으로 일반화한다. PIXEL-KWS와 조건을 맞춘 문자 기반 비교 모델은 LibriPhrase-hard에서 각각 등오류율(EER) 9.57%와 9.55%, LibriPhrase-easy에서 0.43%와 0.41%를 기록했다. 사전학습과 합성 데이터 없이 공개된 모든 기준선보다 높은 성능을 냈다. PIXEL-KWS는 동형 문자 및 리트 표기를 통한 기호 수준 교란에 대해 훨씬 강건했다. 이 결과는 글리프 표현이 실제 환경에서 강건한 개방 어휘 키워드 검출을 구현하는 간단하고 효과적인 방법임을 보여 준다.
기존 텍스트 음성 변환(TTS) 시스템은 주변 환경이 변해도 적응하지 못해 잡음 속에서 말 명료도가 낮아질 수 있다. 반면 사람은 시끄러운 곳에서 더 큰 힘을 주어 발성하는 경향이 있다. 이를 롬바르드 효과라고 한다. 본 연구는 청각 피드백 기반 롬바르드 TTS를 확장해, 사전학습한 플로 기반 TTS가 운율을 명시적으로 제어하지 않고도 청각 피드백에서 음향 적응을 직접 학습할 수 있는지 살펴본다. 잡음을 섞은 파형에서 신호 대 잡음비(SNR)와 자동 음성 인식(ASR) 피드백을 추출한다. 이 피드백을 플로 매칭의 조건에 넣어 발화를 다듬고, 미래 정보를 쓰지 않는 블록 단위 갱신에 활용한다. 일반 발성 및 롬바르드 발성 프롬프트, 프롬프트 전환 대조군, 짝지은 데이터 기반 미세조정으로 여러 프롬프트와 잡음 조건에서 효과를 평가했다. 미세조정은 학습 분포 안에서 강건성을 크게 높였다. 청각 피드백은 단서의 종류에 따라 추가 이점을 제공했으며 보지 못한 잡음에도 일반화됐다. 신호 파워와 기본 주파수(F0)를 더 잘 추적한다는 사실만으로는 말 명료도나 음질의 개선이 보장되지 않았다.
대규모 언어 모델(LLM) 기반 스트리밍 자동 음성 인식(ASR) 아키텍처는 새로운 환경에 잘 일반화하고 지시를 따르는 능력이 뛰어나다. 그러나 여러 화자를 다루려면 전사, 발화의 화자 구분, 지연 시간을 함께 해결해야 한다. 본 연구의 웨어러블 환경에서는 기기 가까이에서 말하는 착용자와 더 멀리 있는 상대방의 대화를 실시간으로 전사해야 한다. 중간 전사 결과는 대화 UI에서 화자마다 고정된 쪽에 표시하므로 화자의 역할을 서로 바꿀 수 없으며, 화자 태그가 각 발화 턴에 앞서야 한다. 지도 미세조정(SFT)은 드물게 등장하는 이 태그를 충분히 최적화하지 못한다. 또 발화 앞부분의 태그를 확정하느라 뒤따르는 텍스트가 늦어질 수 있다. 따라서 고정 역할 화자 귀속 단어 오류율(SA-WER) 채점기와 발화 턴별 첫 출력 지연 보상을 결합해, 검증 가능한 보상을 이용한 강화학습(RLVR)으로 스트리밍 LLM 기반 ASR 모델을 사후 학습했다. 화자가 여덟 방향에 있는 다중 화자 코호트에서 SA-WER 기반 강화학습은 SA-WER을 SFT의 $20.51\%$에서 $13.14\%$로 낮췄다. 지연 시간 목적을 추가하면 SA-WER만 사용한 강화학습 대비 발화 시작부터 첫 출력까지의 지연 시간 $p50$은 $65\%$ 줄었다($0.918\,\text{s}$에서 $0.320\,\text{s}$). $p90$은 $44\%$ 줄었다($1.389\,\text{s}$에서 $0.780\,\text{s}$). 동시에 SA-WER $12.70\%$를 기록했다. 화자 역할을 고정한 인식 품질과 스트리밍 응답성을 함께 개선할 수 있음을 보여 준다.
Latency, Speech Recognition and Turn-Taking in Voice Agents for Spanish Phone Negotiation: An Externally Measured Comparison of Pipecat, LiveKit and GPT-Live
전화 협상을 하는 음성 에이전트는 빠르게 답하고, 말로 전달한 금액을 이해하며, 상대가 말을 겹쳐 할 때도 대응할 수 있어야 한다. 스페인어로 화물 운임을 협상하는 에이전트에 세 가지 아키텍처를 사용해 비교했다. Pipecat과 LiveKit Agents는 각각 음성 인식, 언어 모델, 음성 합성을 순차적으로 연결했다. OpenAI의 음성 모델 GPT-Live는 처리 단계를 따로 나누지 않고 듣고 말한다. 프로그램이 운송업자 역할을 맡아 전화망 없이 한 화자의 녹음 47개를 모든 에이전트에 동일하게 들려줬다. 협상 시나리오 5개에서 아키텍처당 77회의 통화를 진행하고, 검증된 계측 도구로 청취자 측 지연 시간을 측정했다. 내용이 있는 응답까지 걸린 시간의 중앙값은 Pipecat 2,616.0ms, LiveKit 3,090.0ms, GPT-Live 2,444.8ms였다. GPT-Live가 Pipecat보다 171.2ms 빠르다는 차이의 신뢰구간에는 0이 포함됐다. 자체 타임스탬프로 보면 GPT-Live는 상대 발화 종료 800ms 후에 답변을 시작했다. 이는 OpenAI가 공개한 0.8초와 비슷했다. 남은 대기 시간의 대부분인 약 1,367ms는 오디오가 OpenAI 서비스를 왕복하는 데 걸렸으며, 거의 일정했다. 도구 호출은 모든 아키텍처에 0.9~1.1초를 더했으며, 이는 아키텍처 간 차이보다 컸다. 프레임워크가 자체 보고한 지연 시간은 청취자가 실제로 기다린 시간보다 Pipecat에서 9%, LiveKit에서 22% 짧았다. 단어 오류율은 각각 6.03%, 4.93%, 1.47%로 낮았다. 금액 오류율은 두 순차형 시스템에서 각각 13.01%, 12.61%였고 GPT-Live에서 2.86%였다. 기본 설정에서 Pipecat과 LiveKit은 상대가 짧은 맞장구를 치면 거의 매번 말을 멈췄으며, 이를 운송업자의 답으로 받아들이는 일이 잦았다. 에이전트가 말하는 중에 상대가 ‘ok’라고 했을 때 Pipecat은 15건 중 3건, LiveKit은 15건 중 2건을 합의로 기록했으며, GPT-Live는 0건이었다. 이는 통계 검정 없이 집계한 수치다. 따라서 지연 시간은 청취자 측에서 측정해야 하며, 순차형 시스템에는 발화된 금액과 맞장구를 처리하기 위한 보호 장치가 필요하다.
AI에서의 아동 안전은 미성년 사용자를 정확하게 식별하는 데 달려 있다. 어린 아이들은 AI와 상호작용할 때 타이핑하기보다 말하는 경향이 있으므로, 실제로 이러한 식별은 음성으로부터 연령을 예측하는 것을 요구한다. 우리는 13세 미만 아동의 두 가지 음성 코퍼스를 사용한 다섯 건의 연구를 통해, 오디오를 처리할 수 있는 세 가지 대규모 언어 모델이 아동의 음성으로부터 연령을 예측할 수 있는지 평가하였다. 모델들은 오디오 응답의 2.5%에서 42.5%에서 아동을 13세 초과로 분류했으며, 응답한 모든 모델이 일부 5~11세 아동을 18세 초과로 분류했다. 이러한 비율을 측정하는 과정에서 우리는 세 가지 뚜렷한 실패 유형을 발견했다. 첫째, 한 클라이언트 라이브러리가 음성 샘플을 조용히 이중 인코딩하여, 한 모델이 5~10세 아동을 30대와 40대로 분류하고 환각된 설명을 제시하게 만들었다. 둘째, 두 번째 모델의 엔드포인트가 후속 모델로 교체되었는데, 이 후속 모델은 연령 관련 질문 거의 전부를 거부하고 연령을 한 번도 산출하지 않았다. 모든 모델은 때때로 동일한 음성 샘플을 13세 미만과 18세 초과 모두로 분류했으나, 세 번째 모델은 더 나아가 자신의 수치 추정치와 모순되는 임계값 답변을 제시했다. 이러한 실패 유형 중 어느 것도 경고, 상태 코드, 출력 형식의 변화를 일으키지 않았으므로, 모두 표준적인 모니터링을 통과할 것이다. 이러한 결과는 연령 보증에 관한 아동 안전 주장이 모델 수준이 아니라 파이프라인 수준에서 평가되어야 하는 이유를 보여 준다. 우리는 이러한 실패를 탐지 가능하게 만들 보고 관행을 기술한다.
영화적 스토리텔링에서 소리와 시각의 전환은 항상 일치하지는 않는다. 대사는 컷을 넘나들며 반응을 보여 주거나 J컷과 L컷을 통해 새로운 장면을 도입하고, 의도적인 침묵은 장면의 호흡을 조절한다. 그러나 기존의 오디오-비주얼 생성 프레임워크는 긴 시간 범위에 걸쳐 독립적인 시각 및 음향 타이밍을 조율하는 명시적 메커니즘이 부족하다. 서사의 길이와 샷의 복잡도가 커질수록 이러한 시스템은 장기적인 대사 호흡을 유지하는 데 어려움을 겪으며, 의도된 침묵 구간에서 음성을 환각으로 생성하거나 조용히 듣고 있는 인물의 입 움직임을 잘못 구동하는 경우가 많다. 세밀한 영화적 제어를 가능하게 하기 위해, 본 논문에서는 장편, 다중 샷, 다중 인물 오디오-비디오 동시 생성을 위한 시나리오 기반 프레임워크인 DECOUPAGE를 제안한다. DECOUPAGE는 모달리티 경계를 기본적으로 결합하는 대신, 지속적인 인물 정체성에 의해 제어되는 독립적으로 경계가 지정된 시각 트랙과 음향 트랙으로 생성을 분리한다. DECOUPAGE는 이중 스케줄 시간적 교차 어텐션을 갖춘 오디오-비디오 동시 확산 모델을 기반으로 하며, 화면 밖 대사 중에는 음성 조건을 시각적 얼굴 동역학으로부터 선택적으로 분리하는 감독 방식의 립싱크 메커니즘을 포함한다. 다중 샷 대화 벤치마크에서 DECOUPAGE는 샷 전환, 오디오 타이밍, 가시성을 고려한 립싱크에 대해 정밀한 제어를 달성하며, 멀티모달 일관성을 갖춘 15초에서 60초 길이의 시나리오 기반 오디오-비디오 생성을 지휘한다.
저자원 언어에서는 하나의 공개 리더보드가 진전을 가늠하는 유일한 공유 척도인 경우가 많으며, 따라서 리더보드를 향해 최적화하는 것은 곧 하나의 테스트 분포를 향해 최적화하는 것이다. 우리가 whisper-large-v3-turbo에 저랭크 미세 조정을 적용한 모델은 MediaSpeech, Common Voice 17, 그리고 다섯 개 세트로 구성된 터키어 커뮤니티 보드에서 1위를 차지했으며, MediaSpeech에서 단어 오류율 9.02%로 최고 베이스라인의 11.93%를 앞섰다. 그러나 비공개 분할에서는 수정하지 않은 whisper-large-v3에 뒤처졌다. 우리는 이 분할을 증거가 아닌 경보로 간주하며, 주요 발견은 이 분할에 의존하지 않는다. 모델 선택과 독립적으로 구축한 스무 개 조건의 FLEURS-TR 벤치마크에서, 수정하지 않은 베이스 모델은 모든 조건에서 모든 미세 조정 모델을 능가했으며, 다섯 가지 열세 모두 쌍체 부트스트랩에서 0을 넘어서는 것으로 확인되었다. 우리는 이를 음향적 협소화(acoustic narrowing)라고 부른다. 미세 조정이 모델이 잘 처리하는 음향 범위를 축소시키는 현상이다. 핵심 발견은 방법론적인 것이다. 협소화를 탐지하기 위한 우리의 자체 프록시는 이를 드러내기는커녕 오히려 은폐하여, 협소화된 미세 조정 모델을 더 견고한 베이스 모델보다 높게 평가했다. 모델 선택에는 독립적으로 생성된 분포에서 얻은 프록시가 필요하며, 동일한 출처의 데이터를 더 늘리는 것으로는 충분하지 않다. 재구축한 파이프라인은 협소화를 줄인다. 출처가 공개된 더 큰 혼합 데이터, 더 높은 용량의 베이스 모델, 그리고 궤적 평균화를 곁들인 베이스 참조 기반 선택이 그 구성 요소이다. 이 파이프라인은 출처가 동일한 세 축에서 우위를 보이며 FLEURS-TR에서는 8.16% 대 8.26%로 동률을 이루고, 구간은 0을 포함한다. 이러한 동등성은 두 번째 추론 스택과 디코더를 고정한 전체 에폭 조건에서도 유지된다. 이 회복은 하나의 궤적에 해당하며, 검증된 레시피가 아니라 시연이다. 카자흐어에서는 우리가 구축하지 않은 코퍼스에서 역전 현상이 다시 나타난다. 학습 가능한 파라미터 비중을 맞춘 조건에서, 미세 조정은 각각 세 개의 시드에 걸쳐 어텐션 인코더-디코더 모델의 풀 외부 오류를 2.23포인트 높였고, CTC 인코더 전용 모델의 오류는 3.46포인트 낮추었다. 따라서 협소화는 적응 대상 시스템에 따라 달라진다. 우리는 견고성을 우선하는 터키어 ASR 리더보드인 TurkSpeak Bench를 공개한다.
멀티모달 LLM은 하나의 오디오 클립으로부터 받아쓰기와 함께 감정, 성별, 언어, 개체명을 동시에 레이블링하는 단일 시스템으로, 전통적인 전문 음성 모델의 연쇄 구조를 대체할 수 있을 것으로 기대된다. 그러나 대부분의 벤치마크는 여전히 이러한 과제를 개별적으로, 그리고 주로 영어로 평가한다. 본 연구는 공동 이해를 위한 5개 언어(en/de/es/fr/it) 벤치마크이자 학습 방법인 OmniTag-Bench를 소개한다. 이는 하나의 오디오 클립을 입력하면 하나의 JSON 객체(전사문, 감정, 성별, LID, 토큰 수준 NER)를 출력하는 방식이다. 통합된 프롬프트와 채점기를 사용하여 공개 멀티모달 LLM 열 개와 LoRA로 미세 조정한 Qwen3-Omni를 평가한다. 종합 점수를 넘어, OmniTag-Bench는 체계적인 실패 양상을 드러낸다. 여러 강력한 모델이 비영어 음성을 영어로 받아쓰거나 번역하여 다국어 WER를 부풀린다. 미세 조정은 NER, 감정, WER에서 기반 모델을 개선하며, 독립적인 사람 레이블 감정 코퍼스에서 정확도를 거의 두 배로 높여 의사 레이블 모방을 넘어서는 전이 가능한 이득을 시사한다. 미세 조정된 모델은 보지 못했으나 관련된 언어로도 일반화되어, 보류된 네덜란드어로 전이된다. 프롬프트, 채점기, 레이블링 파이프라인을 공개한다.
대규모 공개 데이터셋은 텍스트와 비전에서 음성과 일반 오디오에 이르기까지 최근 기계학습의 발전을 이끌어 왔다. 음악은 여전히 예외로 남아 있는데, 저작권이 학습용 오디오의 재배포를 막기 때문이며, 특히 혼합 음원이 아닌 개별 스템이 필요한 최신 과제에서 그러하다. 기존 멀티트랙 자료는 현실성, 규모, 라이선스 사이에서 절충이 필요하며, 합성 대안은 독점 VST나 약한 스템을 만드는 단순한 공개 렌더링에 의존한다. 본 논문은 공개 도메인 PDMX 데이터셋으로부터 렌더링한, 공개 라이선스의 스템 말뭉치인 SPDMX를 소개한다. SPDMX는 CC BY 4.0 라이선스 하에 44.1 kHz로 $5{,}469$ 곡-시간으로 구성되며(이 중 $2{,}734$ 곡-시간, 즉 $34.8\%$가 멀티트랙 악보이다), 짝을 이루는 MIDI와 본 데이터셋을 PDMX의 원래 메타데이터에 연결하는 식별자를 포함한다. 우리가 아는 한, SPDMX의 멀티트랙 부분집합은 곡-시간 기준으로 공개 라이선스 합성 멀티트랙 부분집합 중 가장 크다. 이어서 SPDMX를 음원 분리와 전사 모두를 위한 데이터셋으로 시연하며, 증가된 규모가 합성 데이터로 모델을 더 잘 학습시킬 수 있음을 보인다. 본 논문은 SPDMX와 함께, 다른 기호 음악 데이터셋에 재사용할 수 있는 공개 생성 파이프라인을 공개한다.
정교한 생성형 음성 기술은 음성 생체 인식의 신뢰성을 약화시킬 수 있다. 스푸핑 탐지 시스템은 도메인 내 조건에서 평가할 때는 우수하지만, 도메인 외 환경으로의 일반화는 흔히 미흡하다. 본 논문에서는 이러한 문제가 모델이 조작이나 생성의 징표가 아니라 개인의 음성 특성을 학습하는 화자 편향에서 비롯될 수 있음을 보인다. 우리는 화자 레이블 없이 신원을 분리하는 화자 불변 스푸핑 탐지를 위한 교사-학생 프레임워크를 제안한다. 사전 학습된 화자 인식 교사를 활용하여 기울기 반전 계층을 통해 학생 모델을 유도한다. 음성 신원과 관련된 단서의 억제와 스푸핑 탐지와 관련된 단서의 보존 사이의 균형을 제어하기 위해 변분 정보 병목을 통합한다. 아홉 개 데이터셋에 걸친 평가에서 본 모델은 MHFA 기준 모델 대비 EER을 상대적으로 25.7% 감소시킨다.
음성 언어 모델(SLM)이 개인 기기에서 공유된 다중 사용자 환경으로 옮겨 가면서, 그 응답은 단어 자체보다 훨씬 많은 것을 고려해야 한다. 누가 말하는지, 어떻게 들리는지, 대화가 어디에서 이루어지는지는 각각 무해한 요청을 안전하지 않거나, 불공정하거나, 프라이버시를 침해하는 요청으로 바꿀 수 있다. 그러나 기존 벤치마크는 대체로 기초적인 오디오 이해에 초점을 맞추거나, 개별 위험을 따로 연구하거나, 본질적으로 유해한 콘텐츠와 음향적 맥락 때문에 비로소 문제가 되는 콘텐츠를 뒤섞는다. 본 논문은 안전성, 공정성, 프라이버시의 세 차원에 걸쳐 SLM의 사회적 정렬을 공동으로 평가하는 최초의 벤치마크 중 하나인 VoxSafeBench를 소개한다. VoxSafeBench는 2단계 설계를 채택한다. Tier1은 짝을 이룬 텍스트와 오디오 입력으로 콘텐츠 중심 위험을 평가하고, Tier2는 전사문은 무해하지만 적절한 응답이 화자, 준언어적 단서, 주변 환경에 좌우되는 오디오 조건부 위험을 대상으로 한다. Tier2를 검증하기 위해 중간 단계의 지각 프로브를 포함하였으며, 최첨단 SLM이 이러한 음향 단서를 성공적으로 감지하면서도 이에 적절히 행동하지 못함을 확인하였다. 이중 언어를 포괄하는 22개 과제 전반에서, 텍스트에서는 견고해 보이는 안전장치가 음성에서는 흔히 약화됨을 발견하였다. 화자 및 장면 조건부 위험에서는 안전 인식이 떨어지고, 인구통계적 차이가 음성으로 전달될 때 공정성이 무너지며, 맥락 단서가 음향적으로 주어질 때 프라이버시 보호가 흔들린다. 종합하면 이러한 결과는 만연한 음성 그라운딩 격차를 드러낸다. 현재의 SLM은 관련 사회 규범을 텍스트에서는 자주 인식하지만, 결정적 단서가 음성에 근거해야 할 때는 이를 적용하지 못한다. 코드와 데이터는 https://amphionteam.github.io/VoxSafeBench_demopage/ 에 공개되어 있다.
대규모 오디오-언어 모델(LALM)이 오디오 이해와 생성을 발전시켰지만, 오디오-텍스트 정렬을 강건하게 평가하는 일은 여전히 어렵다. 참조 기반 지표는 비용이 많이 드는 주석을 필요로 하고, Contrastive Language-Audio Pretraining(CLAP) 기반의 참조 없는 지표는 구문 오류와 세밀한 세부 사항을 자주 간과한다. 본 논문은 CLAP의 조잡한 수준의 의미 정렬을 LALM의 세밀한 이해력 및 구문 인식 능력으로 보정하는 참조 없는 지표 CAF-Score를 제안한다. CAF-Score는 오디오-텍스트 쌍을 대칭적으로 채점하므로 하나의 구성이 두 정렬 방향 모두에 적용된다. 즉 오디오 캡셔닝 평가(BRACE 벤치마크)와 텍스트-오디오(TTA) 생성 평가(RELATE 및 PAM 벤치마크)에 적용되며, 단일 융합 가중치는 BRACE에서 한 번 선택한 뒤 재조정 없이 전이한다. 인간이 주석한 세 벤치마크 전반에서 CAF-Score는 대다수의 CLAP-LALM 조합(그리고 가장 강력한 LALM 백본과의 모든 조합)에서 단독 CLAP보다 인간 판단과의 일치도를 향상시키며, 주요 캡셔닝 벤치마크에서는 단독 LALM 지표보다 우수하다. 또한 어려운 시나리오에서도 참조 기반 지표와 경쟁력을 유지한다.
스푸핑 탐지 시스템은 일반적으로 여러 화자의 다양한 녹음으로 학습되며, 그 결과 얻어지는 임베딩이 화자 정체성과 무관하다고 가정하는 경우가 많다. 그러나 이 가정은 아직 검증되지 않았다. 본 논문에서는 화자 정보가 스푸핑 탐지 시스템에 미치는 영향을 조사한다. 우리는 화자 불변 다중 과제(Speaker-Invariant Multi-Task) 프레임워크 내에서 임베딩 안에 화자 정체성을 모델링하는 접근과 이를 제거하는 접근, 두 가지를 제안한다. SInMT는 기울기 반전 층을 포함하여 화자 인식과 스푸핑 탐지를 함께 수행하는 다중 과제 학습을 통합한다. 네 개의 데이터셋으로 평가한 결과, 화자 불변 모델은 기준 모델 대비 평균 동일 오류율을 17% 줄였으며, 가장 어려운 공격(예: A11)에서는 최대 48%까지 감소시켰다.