We run Kroko, a 65.7M-parameter streaming Zipformer2 transducer for English, on the ESP32-P4, a microcontroller with two 400 MHz RISC-V cores, a 128-bit SIMD extension (PIE) and 32 MB of PSRAM, but no neural accelerator. Without any training, the encoder's 290 matrices are stored with 2 or 4 bits per weight in Hadamard-rotated groups: the width of each matrix comes from its measured sensitivity, and each matrix is first corrected toward the original model's output, then rounded with GPTQ and a search over the group norms. The released 71 MB of int8 weights become a 26.65 MB file. Activations are int16 between the matrix products and int8 into them. A C engine with hand-written PIE kernels processes each 1.28 s chunk of audio in 0.90 s on both cores, beam search included, and its PC build computes the same bits as the chip, so accuracy is measured on whole test sets. LibriSpeech WER is 4.34% on test-clean and 10.26% on test-other, against 3.94% and 9.17% for the released model; on FLEURS and Common Voice the gap grows to 2.3 and 1.1 points. A GPU simulator shows that the integer arithmetic costs nothing and that the whole gap comes from the weights, and an ablation on all of test-clean shows that GPTQ does most of the work. We also report the port's speed history, from 51.3 s to 0.62 s of encoder time per chunk, each design step measured again in one build, an attempt to reach 16 MB that stopped at 19.63 MB, and what did not work. We did not measure energy. The inference engine, the firmware and the 2/4-bit weights are available at https://github.com/BoumedineBillal/esp32-pie-asr.
대규모 언어 모델(LLM)의 발전은 음성 상호작용의 혁신을 이끌어내고 있으며, 특히 Freeze-Omni는 이러한 발전을 바탕으로 한 새로운 음성-텍스트 멀티모달 아키텍처를 제안합니다. Freeze-Omni는 음성 입력과 출력을 텍스트 LLM에 연결하면서 LLM의 파라미터를 동결하여 학습하는 독창적인 접근 방식을 채택하고 있습니다. 이를 통해 모델은 음성-음성 대화 능력을 효과적으로 획득할 수 있으며, 이는 텍스트-음성 쌍 데이터와 60,000개의 다중 라운드 텍스트 질문-응답 데이터로 학습됩니다.
Freeze-Omni의 주요 혁신은 세 가지 단계로 구성된 훈련 전략에 있습니다. 첫 번째 단계에서는 대량의 자동 음성 인식(ASR) 데이터를 활용하여 음성 인코더와 LLM을 정렬함으로써 음성에서 의미 정보를 이해할 수 있도록 합니다. 두 번째 단계에서는 텍스트-음성 변환(TTS) 데이터를 사용하여 음성 디코더를 훈련시키며, 이를 통해 텍스트에서 음성으로의 변환 능력을 강화합니다. 마지막으로, 다중 작업 학습을 통해 이중 대화 능력을 구현하여 사용자와 에이전트 간의 자연스러운 대화를 가능하게 합니다.
이러한 방법론은 재앙적 망각 문제를 피하면서도 음성 모드에서의 지능을 텍스트 모드와 동일한 수준으로 유지하는 데 기여합니다. Freeze-Omni는 낮은 지연 시간으로 음성-음성 대화를 수행할 수 있으며, 이는 기존의 음성-텍스트 멀티모달 LLM보다 뛰어난 성능을 보여줍니다. 이러한 특성 덕분에 Freeze-Omni는 다양한 멀티모달 LLM에 적용 가능하며, 필요한 경우 LLM의 응답 스타일을 조정하기 위한 미세 조정이 용이합니다.
결론적으로, Freeze-Omni는 음성-음성 대화의 새로운 가능성을 열어주며, 제한된 데이터와 학습 자원으로 인한 문제를 해결할 수 있는 잠재력을 지니고 있습니다. 이 모델은 인공지능 대화 시스템의 발전에 기여할 것으로 기대됩니다.
**FunAudioLLM**은 인간과 대규모 언어 모델(LLM) 간의 자연스러운 음성 상호작용을 향상시키기 위해 개발된 혁신적인 모델 패밀리이다. 이 모델은 두 가지 주요 구성 요소인 **SenseVoice**와 **CosyVoice**로 이루어져 있다. **SenseVoice**는 다국어 음성 인식, 감정 인식, 오디오 이벤트 감지 기능을 제공하며, **SenseVoice-Small**과 **SenseVoice-Large** 두 가지 변형이 있다. **SenseVoice-Small**은 5개 언어에 대해 낮은 지연 시간의 자동 음성 인식(ASR)을 지원하며, **SenseVoice-Large**는 50개 이상의 언어에 대한 고정밀 ASR을 가능하게 한다. 이러한 성능은 Whisper 모델들에 비해 상당한 속도 향상을 보여준다.
**CosyVoice**는 자연스러운 음성을 생성하는 데 중점을 두고 있으며, 다국어 음성 생성, 제로샷 문맥 내 학습, 크로스링구얼 음성 클로닝 및 지시 따르기 기능을 갖추고 있다. 이 모델은 특정 화자에 맞춘 음성 생성을 가능하게 하여 사용자 맞춤형 음성 출력을 지원한다. 두 모델 모두 오픈소스로 공개되어 있어, 연구자와 개발자들이 쉽게 접근하고 활용할 수 있도록 하였다.
**FunAudioLLM**은 이러한 모델들을 LLM과 통합하여 음성-음성 번역, 감정 음성 채팅, 인터랙티브 팟캐스트 및 표현력이 풍부한 오디오북 내레이션과 같은 다양한 응용 프로그램을 가능하게 한다. 이러한 혁신은 음성 상호작용 기술의 경계를 확장하며, 사용자에게 보다 직관적이고 인간적인 경험을 제공한다. 그러나 모델의 한계로는 자원이 부족한 언어에 대한 ASR 성능 저하와 감정 및 말하기 스타일의 명시적 지침 없이 추론하는 데 어려움이 있다. 이러한 문제는 향후 연구의 중요한 방향이 될 것이다.
결론적으로, **FunAudioLLM**은 음성 이해 및 생성의 새로운 패러다임을 제시하며, 인간과 기계 간의 상호작용을 보다 자연스럽고 효율적으로 만들어 줄 것으로 기대된다.
Full-duplex spoken language models (FD-SLMs) support simultaneous listening and speaking, but often lag behind half-duplex spoken language models (HD-SLMs) in general capabilities. We propose Dialogue-to-Duplex (D2), a framework that converts pretrained HD-SLMs into high-capability FD-SLMs at fine temporal granularity. D2 adapts the original audio encoder to streaming through decoder-free representation distillation and learns full-duplex interaction through supervised fine-tuning. We systematically study the effects of chunk size on full-duplex interaction, general capabilities, and inference computation. We apply D2 to two distinct HD-SLM architectures, Qwen3-Omni and LLaMA-Omni 2. At a 12.5Hz update rate, Qwen3-Omni-D2 achieves 99.2% turn-taking success with 521-ms latency, 99.5% interruption success, and a state-of-the-art VoiceBench score of 70.1.
Speech timing is fundamental for speech models to recognize words accurately, but how word-timing information is represented in speech models remains underexplored. We study this question using the framework of representational geometry, which investigates whether and how concepts are represented in low-dimensional subspaces of the representation space. Prior work in cognitive neuroscience has shown that when HuBERT feature sequences are averaged across words of the same duration, they form near-circular trajectories from word onset to word offset in a two-dimensional "temporal subspace." Here we show that this circular structure of word timing is a general property of deep speech representations, by demonstrating its emergence in nine additional speech models covering both supervised and self-supervised. We then move beyond averaged word segments and show that in HuBERT, the circular trajectories are consistent enough at the level of individual words to perform word segmentation. Our approach, Rotary Segmentation (RoSeg), achieves 64.3% boundary F-score on Librispeech by detecting word boundaries when cycles complete in the temporal subspace. Although supervision is needed to identify a good subspace, nevertheless this result demonstrates much stronger implicit word knowledge in HuBERT than has previously been shown.
자동 발음 평가(APA)의 최근 발전은 대본 기반 평가에서 자유 형식 평가로의 전환을 이끌었습니다. 그러나 기존 방식들은 종종 강제 정렬(forced alignment)과 별도의 특징(feature) 추출기를 포함하는 다단계 파이프라인에 의존하여 다양한 응답 환경 전반에서의 실용성이 제한됩니다. 이를 해결하기 위해 본 논문에서는 강제 정렬 없이 단어 및 발화 수준의 발음 점수를 공동으로 예측하고자 Whisper의 크로스 어텐션(cross-attention) 메커니즘을 활용하는 새로운 APA 프레임워크인 OpenPA를 제안합니다. 혼합 전사 적응(mixed-transcript adaptation) 및 적응형 대체 가중치 부여를 통해 OpenPA는 단일 모델 내에서 폐쇄형 및 개방형 응답 환경 전반의 이종 전사 텍스트를 수용합니다. speechocean762 데이터셋으로만 학습(training)되었음에도, OpenPA는 도메인 내 폐쇄형 및 시뮬레이션된 개방형 응답 조건에서 평가 대상 시스템 중 가장 강력한 전반적 성능을 달성하는 동시에 MultiPA에 대한 제로샷(zero-shot) 성능을 유지합니다. 구강암 환자 음성에 대한 추가적인 교차 과제 평가는 비원어민 음성을 넘어선 잠재적 적용 가능성을 시사합니다.
음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.
대규모 오디오 언어 모델(LALM)은 음성-텍스트 작업에서 우수한 성능을 달성하지만, 표준 오디오 인코더는 짧은 오디오 클립에 대해서도 수백 개의 토큰을 생성합니다. 셀프 어텐션(self-attention)이 시퀀스 길이에 대해 제곱으로 스케일링되기 때문에, 이는 추론(inference) 시점의 연산량을 크게 증가시킵니다. 현재의 학습이 필요 없는(training-free) 토큰 압축 방법들은 오직 거친(coarse) 어텐션 또는 특징(feature) 유사도에만 기반하여 토큰을 가지치기(pruning)하거나 병합합니다. 그러나 오디오 토큰을 일반적이고 등방성(isotropic)인 특징으로 취급하는 것은 스펙트럼 전이(spectral transition)를 평탄화시켜, 음성 디코딩에 필수적인 세밀한 음소 전이(phonetic transition)를 손상시킵니다. 반면, 음성 신호는 정보 밀도가 음향 전이(acoustic transition) 지점에서 정점을 이루는 매우 구조화된 시간적 패턴을 보입니다. 우리는 어텐션 기반 압축을 적용하기 전에 오디오 인코더의 표현 기하구조(representation geometry)를 토큰 중요도에 대한 음향적 사전 정보(prior)로 활용하는, 학습이 필요 없는 2단계 프레임워크인 AudioTETRIS를 제안합니다. AudioTETRIS는 인코딩 단계 이후에 인코더 구조를 버리는 대신, 이 사전 정보를 LLM 디코더로 직접 전파하여 토큰별 융합 점수(fused score)를 계산합니다. 이 점수는 추가적인 학습이나 보조 모델 없이 디코더 레이어 전반에 걸쳐 점진적인 top-$k$ 토큰 선택을 주도합니다. Qwen2-Audio-7B, Phi-4-Multimodal, Audio Flamingo 3에서 평가한 결과, AudioTETRIS는 오디오 토큰의 25%만을 사용하여 여러 음성 작업에서 거의 압축되지 않은 수준의 성능을 유지하며, 중간 수준의 압축률에서 전체 토큰 정확도와 동등하거나 이를 상회하고, 기존의 학습이 필요 없는 베이스라인들을 일관되게 능가합니다.
최근 악센트 분류(accent classification) 시스템은 표준적인 코퍼스 내(in-corpus) 평가에서 높은 정확도를 달성할 수 있다. 그러나 학습 세트와 테스트 세트 간에 화자가 겹치는 경우, 이러한 결과는 실제 배포 시나리오와 비교하여 모델의 강건성(robustness)을 과대평가할 수 있다. 본 연구는 L2-ARCTIC과 여러 외부 영어 악센트 데이터셋을 활용하여 DistilHuBERT 기반 악센트 분류의 강건성을 재검토한다. 비교 대상에는 균형 잡힌 외부 데이터 학습(balanced external-data training) 및 교사-학생 의사 라벨링(teacher-student pseudo-labeling)과 더불어, 파일 단위(file-level) 분할 및 화자 분리(speaker-disjoint) 분할이 포함된다. 코퍼스 내 평가와 외부 평가 간의 큰 성능 격차는 파일 단위 평가가 성능을 상당히 과대평가하는 반면, 화자 분리 평가는 미확인 화자에 대한 일반화 성능을 보다 현실적으로 추정할 수 있음을 시사한다. 본 연구에서 외부 데이터만으로 학습된 모델은 L2-ARCTIC에 안정적으로 일반화되지 못했다. 테스트된 구성 중에서는 균형 잡힌 외부 데이터 학습이 가장 유망한 지도학습 설정을 제공한다. 나아가 의사 라벨링 실험은 도메인 불일치 상황에서 신뢰도 기반 필터링(confidence-based filtering)만으로는 불충분함을 보여준다. 전반적으로 본 연구는 강건한 악센트 분류 평가를 위해 화자 분리 평가와 말뭉치 간(cross-corpus) 테스트를 동시에 포함해야 함을 시사한다.
실적 발표 컨퍼런스 콜(Earnings call) 전사는 새로운 녹음 데이터를 통해 자동 음성 인식(ASR) 시스템을 업데이트하지만, 이전에 학습한 금융 음성 패턴에 대한 치명적 망각(catastrophic forgetting) 위험이 존재하는 현실적인 지속 학습(continual learning) 시나리오를 제시합니다. 일반 도메인 음성 코퍼스에서 학습된 Whisper-small을 Earnings22 벤치마크에 적응(adaptation)시킨 결과, 그 반대의 현상이 나타났습니다. 평가된 모든 방법론이 적응 과정에서 망각을 겪기보다는 동일한 도메인의 유보(held-out) 금융 음성 데이터에서 성능 향상을 보였습니다. 이러한 태스크 상호보완성(task complementarity)으로 인해 정규화(regularization)는 오히려 역효과를 낳게 됩니다. 그럼에도 불구하고 정규화가 필요한 상황에서는, 층(layer)별 mini-Kronecker-Factored Approximate Curvature(mini-KFAC) 근사가 표준 대각 탄성 가중치 통합(diagonal Elastic Weight Consolidation, EWC)보다 더 낮은 단어 오류율(WER)과 더 안정적인 최적화를 달성하는 것으로 나타났습니다. 본 연구 결과는 지속 학습 제약을 적용하기 전에 태스크 상호보완성을 먼저 평가해야 하며, 제약이 필요한 경우에는 대각 EWC보다 mini-KFAC EWC를 선호해야 함을 시사합니다.
멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.
풀 듀플렉스(Full-Duplex) 음성 모델은 듣기와 말하기를 동시에 수행할 수 있어 자연스러운 상호작용을 가능하게 하지만, 대화 기록(conversation history)이 길어질수록 제어하기가 점점 더 어려워진다. 사용자 시뮬레이터(user simulator)로 사용될 때 이러한 제어력 부족은 모델이 지정된 시나리오에서 벗어나게 하여 신뢰할 수 없는 평가 결과를 초래할 수 있다. 우리는 대화형 모델이 지정된 시나리오 내에 머무르면서 여러 목표를 요구된 순서대로 완수하는지를 평가하는 SimIF-Bench(Simulator Instruction-Following Benchmark)를 소개한다. 이 벤치마크는 현재의 오픈소스 풀 듀플렉스 모델들이 이러한 제약을 따르는 데 어려움을 겪는다는 것을 보여준다. 이어서 우리는 Group Reward-Decoupled Normalization Policy Optimization(GDPO) 기반 학습 레시피를 소개하는데, 이는 풀 듀플렉스 모델이 턴테이킹(turn-taking) 능력을 유지하면서도 진행 중인 대화 중에 텍스트 지시(textual instructions)를 따를 수 있게 한다. 이렇게 만들어진 SteerablePlex를 대화를 모니터링하고 필요할 때 지시를 제공하는 비동기 백엔드 언어 모델과 연결함으로써, 우리는 기존 오픈소스 모델 및 GPT-Realtime보다 다단계 제약을 더 안정적으로 따르는, 더 제어 가능한 풀 듀플렉스 사용자 시뮬레이터를 구축한다.
자연어 스타일 설명은 대규모 언어 모델(LLM)과 제어 가능한 텍스트 음성 변환(TTS) 사이에서 해석 가능한 인터페이스를 제공합니다. 그러나 설명을 의사 레이블(pseudo-label)로 사용하는 방식은 목표 음향 특성을 텍스트로 압축하며, 설명의 충실도가 특정 합성기의 효과적인 제어로 반드시 이어지는 것은 아닙니다. 본 논문에서는 동일한 발화에 대한 후보 지시문들 사이에서 음성-텍스트 정렬이 다운스트림 음향 유사도를 약하게만 예측함을 실증적으로 보여줍니다. 따라서 본 연구에서는 동결된 다운스트림 TTS 모델을 통해 텍스트 기반 스타일 플래너를 학습시키는 음성 보상 스타일 계획(SRSP)을 제안합니다. 대화 이력과 응답 텍스트가 주어지면 플래너는 후보 지시문을 생성하고, 목표 음성 토큰의 티처 포싱(teacher-forced) 가능도를 보상으로 활용하여 그룹 상대 정책 최적화(GRPO)로 최적화됩니다. ISCSLP 2026 CoT-TTS 말뭉치의 영어 하위 집합에서 SRSP는 기본 LLM 및 목표 오디오 정보를 반영한 캡셔닝 베이스라인보다 목표 음성에 대해 더 높은 음성 스타일 및 감정 유사도를 달성하고 더 낮은 멜 셉스트럴 왜곡(mel-cepstral distortion)을 보입니다. LLM 기반 표현 음성 평가에서도 문맥적 적절성과 참조 일관성 측면에서 모든 베이스라인 대비 성능 향상을 추가로 입증합니다.
우리는 자연스러운 대화 맥락에서 실제 또는 합성된 음성 응답의 음성 미학(voice aesthetics)을 설명하는 음성 대규모 언어 모델(speech LLM)인 Conversational Voice Aesthetic Model(CVAM)을 소개한다. 맥락(context)과 응답 음성이 주어지면, CVAM은 해당 음성을 특징짓는 주요 순간들을 설명하고 성별, 음높이(pitch), 속도(pacing), 감정, 전달 방식(delivery)에 걸친 9개의 범주형 속성을 예측한다. 핵심 과제는 감정 및 전달 방식과 같은 지각적 영역에 있는데, 이러한 영역은 본질적으로 주관적이며 명확한 정답(ground truth)이 존재하지 않는다. 이를 위해 우리는 CANDOR 코퍼스에서 파생된 3,000개의 실제 및 합성 응답 각각에 대해 약 10개의 인간 어노테이션을 수집한다. CVAM은 합성된 미학적 설명과 레이블에 대해 지도 파인튜닝(supervised finetuning)된 후, 인간 판단을 바탕으로 Group Relative Policy Optimization을 통해 최적화된다. 실험 결과, CVAM은 Gemini 3.1 Pro 및 오픈소스 음성 LLM보다 인간 청취자와 더 높은 일치도를 보였으며, 단일 인간과 나머지 인간들 간의 일치도(single-human-vs.-rest agreement)보다도 우수한 성능을 나타냈다. 종합적으로, 우리는 음성 미학을 인간의 지각에 그라운딩하는 것의 중요성을 입증하고, 인간 정렬(human alignment)을 위한 체계적인 프레임워크를 제안한다.
자기지도 학습(self-supervised learning) 기반 음성 인코더는 공유되고 얽힌 표현 공간 내에 언어적 정보와 준언어적(paralinguistic) 정보를 함께 포함합니다. 본 연구에서는 TopK 희소 오토인코더(sparse autoencoder)를 경로별 지도(route-specific supervision) 및 교차 요인 적대적 학습(cross-factor adversaries)과 결합합니다. 동결된 SPEAR 및 WavLM 인코더 전반에서 독립적인 프로브(probe)를 통해 요인별 유지 및 억제를 확인했습니다. 언어적 정보는 언어 경로에서 더 강하게 유지되는 반면, 화자 신원, 감정, 운율을 포함한 준언어적 요인은 준언어 경로에 유지되고 언어 경로에서는 대폭 감소합니다. LibriSpeech에서 학습된 경로 구성은 표현 측 재학습 없이도 MSP-Podcast에서도 지속됩니다. 특징(feature) 공간에서의 경로 개입은 변경되지 않은 경로가 전달하는 정보를 대부분 보존하면서 교체된 요인을 추가로 전이합니다. 이러한 결과는 인코더, 말뭉치(corpora), 독립 프로브 및 표현 수준 개입 전반에서 일관된 경로 선택적 분리가 이루어짐을 보여줍니다.
오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.
시각적 가이드 기반 음향 강조(Visually-guided acoustic highlighting)는 동반되는 영상에 맞춰 오디오의 밸런스를 재조정하여 일관된 시청각 경험을 만드는 것을 목표로 한다. 시각적 돌출도(saliency) 및 향상은 널리 연구되어 온 반면, 음향 강조는 여전히 충분히 탐구되지 않아 시각적 초점과 청각적 초점 간의 불일치가 자주 발생한다. 기존 접근 방식들은 판별 모델(discriminative model)을 사용하지만, 이는 불균형한 오디오 믹스와 균형 잡힌 오디오 믹스 사이에 자연스러운 일대일 매핑이 존재하지 않는 오디오 리믹싱 고유의 모호성을 처리하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해, 본 연구는 이 작업을 생성 문제로 재구성하고 조건부 흐름 매칭(CFM, Conditional Flow Matching) 프레임워크를 도입한다. 반복적인 흐름 기반 생성의 주요 과제는 향상할 올바른 소스를 선택하는 과정에서의 초기 예측 오류가 단계를 거치며 누적되어 궤적을 다양체(manifold) 밖으로 벗어나게 한다는 점이다. 이를 해결하기 위해 본 논문에서는 최종 단계에서의 이탈에 페널티를 부과하여 궤적의 자체 교정을 유도하고 장거리 흐름 적분을 안정화하는 롤아웃 손실(rollout loss)을 도입한다. 또한 벡터장(vector field) 회귀 이전에 시청각 단서를 융합하여 명시적인 크로스모달 소스 선택을 가능하게 하는 조건화 모듈을 제안한다. 광범위한 정량적 및 정성적 평가 결과, 본 방법은 기존 최고 수준(SOTA)의 판별 접근 방식을 지속적으로 능가하며 시각적 가이드 기반 오디오 리믹싱이 생성 모델링을 통해 가장 잘 해결될 수 있음을 입증한다.
사전학습된 텍스트 음성 변환(TTS) 모델은 표현력이 풍부한 음성을 생성할 수 있지만, 신뢰할 수 있는 추론 시점의 감정 제어는 여전히 어렵습니다. 프롬프트와 참조 오디오는 거칠고 일관되지 않은 제어를 제공하는 반면, 특화된 조건화 및 모델 적응은 비용이 많이 드는 학습을 필요로 합니다. 본 논문에서는 은닉 활성화(hidden activations)에 스티어링 벡터를 주입하여 감정을 제어하는 경량 활성화 스티어링(activation steering) 프레임워크인 SteerSpeech를 제시합니다. 각 목표 감정에 대해 화자 정체성과 언어적 내용을 보존하고 스티어링 드리프트를 제한하며 TTS 백본을 고정한 상태로 유지하면서 단조로운 감정 제어를 유도하는 다중 전문가 목적 함수를 사용하여 경량 저랭크 변환(low-rank transform)을 학습합니다. 이산 음성 토큰을 통해 최적화하기 위해, straight-through estimator를 사용하여 샘플링된 토큰을 통해 전문가 감독을 역전파하는 2단계 생성 및 재생 파이프라인을 도입합니다. 추론 시에는 목표 감정 스티어링 방향이 각각의 변환과 함께 최적화되어 기본 TTS 모델에 주입됩니다. 학습된 화자, 미학습 화자 및 악센트가 있는 화자를 대상으로 한 Qwen3-TTS 기반의 객관적 및 주관적 평가는 화자 및 내용 저하를 최소화하면서 더 강력하고 연속적인 감정 제어가 가능함을 보여줍니다. SteerSpeech는 기준선(baseline) 대비 1.08배~7.12배의 목표 감정 점수를 달성하며, 대표적인 감정에 대한 주관적 평가에서 높은 스티어링 강도일 때 78.1%~96.8%의 강도 선호도와 1.43배~1.46배의 화자 정체성 보존율을 기록합니다.
AI가 생성한 음악 결과물에 누구의 음악이 기여했는지 어떻게 검증할 수 있을까요? 본 논문에서는 입력 기반 귀속(attribution)이 생성 과정에 어떤 오디오 소스가 사용되었으며 그것이 출력에 실질적인 영향을 미쳤는지를 입증하는 검증 가능한 근거를 어떻게 제공할 수 있는지 보여줍니다. 이를 위해 텍스트 입력 없이 오디오 조건만을 기반으로 생성을 수행한 뒤, 각 출력의 배경이 되는 입력을 추적하여 그 음악적 영향을 규명합니다. 프롬프트 준수 테스트와 통제된 입력 교체 실험에서, 자체 개발한 생성기인 MixAudio가 생성한 스템(stem) 음원들은 음색 면에서는 프롬프트 오디오를, 화음 면에서는 컨텍스트 오디오를 따르는 것으로 나타났습니다. 그러나 이러한 출력물은 입력으로 제공되지 않은 학습(training) 데이터를 여전히 재현할 가능성이 있습니다. 따라서 음악 버전 식별 모델(model)인 musicDNA를 통해 암기(memorization) 현상을 감사한 결과, 입력 기록 외의 재현 사례는 거의 발견되지 않았습니다. 플래그가 지정된 후보군 내에서 사람이 직접 판정한 사례를 기준으로, 이 모델은 테스트된 다른 암기 탐지기보다 더 높은 정밀도(precision)와 재현율(recall)을 달성했습니다. 두 가지 평가는 입력 기록과 출력 분석이 귀속을 위한 상호보완적인 근거를 제공함을 시사하며, 이는 AI 음악 경제가 형성됨에 따라 권리자 보고 및 보상 체계에 활용될 수 있습니다. 오디오 예제는 https://neutune.github.io/attr2027demo/ 에서 확인할 수 있습니다.
음성 언어 식별(LID)은 억양에 관계없이 목표 언어를 인식하는 것을 목표로 합니다. 그러나 실제로는 자기지도 음성 표상(self-supervised speech representations)을 파인튜닝(fine-tuning)한 LID 모델이 억양과 언어를 자주 혼동하여, 비모국어(L2) 음성을 화자의 모국어(L1)로 오분류하곤 합니다. 본 연구에서는 비모국어 음성 표상이 원어민 목표 언어와 원어민 L1 양극 사이에 위치하여 체계적인 오분류를 유발함을 보여줍니다. 이를 해결하기 위해, 원어민 음성만을 기반으로 L1-바이어스 방향을 추정하고 동결된(frozen) LID 헤드 이전에 이를 제거하는 기하학적 투영 기법을 소개합니다. 5개의 MMS-LID 모델과 비모국어 코퍼스 전반에 걸쳐, 이 투영은 원어민 음성에 대한 예측을 유지하면서도 L2 억양 음성에 대한 목표 언어 식별 성능을 크게 향상시킵니다. 이러한 결과는 L2 학습 데이터나 모델 적응 없이도 표상 공간 내에서 억양으로 인한 L1 바이어스를 직접 교정할 수 있음을 보여줍니다.