엔드투엔드(End-to-end) 음성-음성 대화 모델은 동시에 듣고 말하기 때문에, 지속적으로 열려 있는 음향 채널이 적대적 조작에 노출됩니다. 본 연구에서는 전이중(full-duplex) 에이전트에 대한 감지 불가능한 공격을 타깃 시맨틱 하이재킹(targeted semantic hijacking), 응답 억제(response suppression), 정책 탈옥(policy jailbreaking)이라는 세 가지 목표 하에 캐리어 음성의 심리음향 마스킹 임계값 이하로 제한된 부가적 섭동에 대한 최적화 문제로 정형화합니다. 방어가 없는 Moshi 스타일의 에이전트를 상대로 화이트박스 공격은 최대 91.7%의 시도에서 성공합니다. 이어 저자들은 심리음향 정렬 잠재 스무딩(PALS)을 제안합니다. PALS는 잔차 벡터 양자화(RVQ) 잠재 인터페이스에서 국소 코드북 공분산에 의해 형성된 비등방성 가우시안 노이즈를 주입하고, 공격자를 제한하는 마스킹 임계값에 의해 형성된 입력 노이즈를 적용하며 쿨백-라이블러(KL) 일관성 목적 함수로 학습됩니다. 추론(inference) 시간 비용 없이 배포 가능한 PALS는 깨끗한 음질(clean quality) 저하를 2.3% 이내로 유지하면서 하이재킹을 8.3%, 음소거를 11.2%, 탈옥을 9.1%로 감소시킵니다. 몬테카를로 스무딩 변형은 최대 0.616의 타원체 잠재 반경을 인증하여, 경험적 강건성이 훨씬 상회하는 보장된 하한선을 제공합니다.
최근 발전으로 억양과 분위기 같은 비언어적 단서를 포함하여 자연스러운 상호작용을 생성할 수 있는 음성-음성(S2S) 대화형 어시스턴트가 등장했다. 자동차 분야에서는 이를 통해 직관적이고 인간과 유사한 차내 대화 경험이 가능해진다. 그러나 이러한 엔드투엔드 어시스턴트를 통합하면 프로그래밍 가능한 도메인 특화 안전장치를 위한 아키텍처 선택지가 제한된다. 본 논문은 S2S 가드레일을 위한 두 가지 구현 접근법, 즉 전사(transcript) 기반과 도구(tool) 기반 방식을 논의한다. 실증 평가를 통해, 두 전략 모두 과도한 지연(계산 비용이 낮은 검사에서도 각 응답을 0~1.4초 지연시킴)과 기술적 장애(예: 잠재적으로 비결정적인 도구 호출 동작)로 인해 대부분의 경우 산업 배포에 부적합함을 보인다. 마지막으로, 자동차 맥락에서 S2S 가드레일의 미해결 과제를 정리한다.
현재 음성 AI 벤치마크는 일반적으로 음성 명료도(speech intelligibility), 단어 오류율(word error rate), 또는 텍스트 기반 대화 품질과 같은 개별 역량을 평가하지만, 시스템이 구어와 그 텍스트 표현을 구별하는 음향 정보를 활용하는지 여부는 거의 검증하지 않는다. 이를 위해 우리는 텍스트 음성 변환(TTS), 음성-음성(STS), 음성 이해(SU), 음성 인식(ASR)에 걸친 음성 AI를 평가하는 다차원 벤치마크인 Real World Voice EQ Bench를 제안한다. 우리의 평가는 성능이 차원별로 매우 다르다는 것을 보여준다. TTS의 경우 자연스러움, 표현력, 화자 정체성 안정성(identity stability), 신뢰성은 대체로 독립적인 평가 차원이다. STS의 경우 오디오 접근이 보컬 정서(vocal affect)의 활용을 보장하지 않으며, 일부 에이전트는 여전히 대체로 전사(transcript) 중심으로 동작한다. SU의 경우 모델은 초언어적(paralinguistic) 태스크에서 고르지 않은 성능을 보인다. ASR의 경우 실세계 억양, 감정, 노이즈, 대화 조건이 기존 클린 스피치(clean-speech) 벤치마크가 포착하지 못하는 오류를 드러낸다. 종합하면, 이러한 결과는 음성 AI를 단일 종합 점수가 아니라 음향적, 표현적, 상호작용적, 견고성(robustness) 역량의 프로필로 평가해야 함을 보여준다.
오디오 지능은 오디오와 음성 모두를 이해하고 추론하며 생성하는 것을 포함한다. 본 연구에서는 강력한 텍스트 전용 MoE 대규모 언어 모델(LLM)인 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM, Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 간단한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 한다. 학습을 위해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 구축하였다. 이 데이터셋에 대해 다단계 지도 학습을 적용한 후, 텍스트 전용 Cascade 강화학습(RL)과 다중 도메인 온-정책 지식 증류를 수행하였다. Audex는 최첨단 오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환, 오디오 생성, 음성-음성 생성을 제공하는 동시에, 텍스트 전용 LLM 백본이 지닌 뛰어난 추론, 정렬(alignment), 지식, 긴 컨텍스트, 에이전트(agentic) 역량을 미미하거나 전혀 없는 퇴보로 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.
스트리밍 음성-음성 언어 모델은 구어체 질의에 합성 음성으로 직접 답변하는 것을 목표로 한다. 그러나 기존의 음성 및 텍스트 벤치마크는 이러한 시스템이 대화에서 자연스럽게 동작하는지 포착하지 못한다. 대화에서는 타이밍, 순서 교대(turn-taking), 운율(prosody), 대인 태도(interpersonal stance), 언어 및 방언 일관성, 관계 인식 적절성이 복합적으로 지각 품질을 결정한다. 우리는 질의-응답 상호작용에서 음성-음성 언어 모델의 자연스러움을 평가하기 위한 벤치마크인 SPEARBench를 소개한다. SPEARBench는 Seamless Interaction 코퍼스로부터 통제된 대화 프롬프트를 구성하고, 여러 모델에 걸쳐 추론을 수행한 후, 응답 지연(response latency), 끼어들기(interruptions), 음성 품질, ASR 견고성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 태도, 그리고 설명 가능한 분포적 기준선을 포괄하는 다차원 프로토콜로 생성된 답변을 평가한다. 이 벤치마크는 참조 조건으로 원본 인간 답변을 포함하며, 여러 최신 모델에 대한 결과를 보고한다. 결과에 따르면 현재 모델들은 높은 신호 수준의 품질과 낮은 ASR 오류를 달성할 수 있으나, 지연, 겹침, 방언 보존, 감정 적응, 대인 태도 역학 측면에서 인간 대화 행동과 여전히 차이를 보인다.
Seamless Interaction 데이터셋의 4,000시간 이상 대화 음성을 활용해 음성-음성(S2S) AI 에이전트의 운율(prosody)과 리듬 평가를 위한 화자 특성·상호작용 상태별 매칭 참조 기준(matched reference regimes)을 구축하고, 백분위 기반 평가 프로토콜을 제안했다. 실험 결과, 통합 참조(pooled reference)는 상태 조건부 F₀ 표현력과 리듬을 과도하게 플래그하는 반면, 매칭 참조는 명목 플래그 비율(10%)에 근접해 편차 방향을 해석 가능하게 하는 행동적 타당성 검사로 기능함을 보였다.
알제리 방언을 위한 End-to-End 음성-음성 대화 시스템 Dziri Voicebot은 자동 음성 인식(ASR), 자연어 이해(NLU), 검색-증강 생성(RAG), 음성 합성(TTS)을 하나의 모듈형 파이프라인으로 통합해 표준 표기 부재, 프랑스어 코드스위칭, 주석 음성 자원 부족 같은 저자원·방언 환경의 과제를 다룬다. 통신 도메인 전용 데이터셋으로 Whisper 기반 ASR, 트랜스포머 임베딩과 과제 지향 대화 NLU, 신경망 TTS를 파인튜닝한 결과 ASR 단어 오류율 13.74%, 의도 분류 98.4%, 개체 F1 93.9%, 안정적인 음성 합성 품질을 달성했다.