완전 이중 통화(full-duplex) 음성 언어 모델(SLM)에서 음향·의미 모달리티가 깊은 파라미터 공간을 공유할 때 발생하는 그래디언트 충돌이 성능 저하의 근본 원인임을 밝히고, 이를 해결하기 위해 심층 레이어에서 두 모달리티를 분리하고 전용 의미 정렬 채널로 일관성을 유지하는 계층적 프레임워크 Lychee-FD를 제안한다. Spoken QA에서 +7.4%, FullDuplexBench 1.5에서 +28.5%의 성능 향상을 달성하며 추론 효율도 유지함을 입증했다.
전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.
엔드투엔드(End-to-end) 음성-음성 대화 모델은 동시에 듣고 말하기 때문에, 지속적으로 열려 있는 음향 채널이 적대적 조작에 노출됩니다. 본 연구에서는 전이중(full-duplex) 에이전트에 대한 감지 불가능한 공격을 타깃 시맨틱 하이재킹(targeted semantic hijacking), 응답 억제(response suppression), 정책 탈옥(policy jailbreaking)이라는 세 가지 목표 하에 캐리어 음성의 심리음향 마스킹 임계값 이하로 제한된 부가적 섭동에 대한 최적화 문제로 정형화합니다. 방어가 없는 Moshi 스타일의 에이전트를 상대로 화이트박스 공격은 최대 91.7%의 시도에서 성공합니다. 이어 저자들은 심리음향 정렬 잠재 스무딩(PALS)을 제안합니다. PALS는 잔차 벡터 양자화(RVQ) 잠재 인터페이스에서 국소 코드북 공분산에 의해 형성된 비등방성 가우시안 노이즈를 주입하고, 공격자를 제한하는 마스킹 임계값에 의해 형성된 입력 노이즈를 적용하며 쿨백-라이블러(KL) 일관성 목적 함수로 학습됩니다. 추론(inference) 시간 비용 없이 배포 가능한 PALS는 깨끗한 음질(clean quality) 저하를 2.3% 이내로 유지하면서 하이재킹을 8.3%, 음소거를 11.2%, 탈옥을 9.1%로 감소시킵니다. 몬테카를로 스무딩 변형은 최대 0.616의 타원체 잠재 반경을 인증하여, 경험적 강건성이 훨씬 상회하는 보장된 하한선을 제공합니다.
풀 듀플렉스 구어 대화 모델용 벤치마크는 턴 테이킹을 이진 고정 윈도우 규칙으로 채점하며, 이전 턴의 완결성에 따라 즉각적 응답이나 침묵을 보상한다. 우리는 지연된 침묵이든 선행적 겹침(overlap)이든 응답 오프셋의 적절성이 화자의 잠재 의도에 조건부이며, 그 의도는 해당 화자의 행동만으로 식별 가능하다고 주장한다. 다섯 개의 이인(dyadic) 코퍼스에서 9,728개 에피소드와 73.2시간으로 구성된 벤치마크 TACT를 제안한다. 각 에피소드는 대화 이력, 화자별 메모리 프로필, 주석자가 도출한 6개 의도 클래스에 대한 사후분포를 담는다. 채점은 이진 윈도우를 인간 floor-transfer-offset 분포에 맞춰 적합된 의도 조건부 타이밍 커널 가중치를 갖는 엄밀 proper(strictly proper) 임계값 가중 연속 순위 확률 점수로 대체하며, 유계성·일관성·이진 환원을 증명한다. 11개 시스템 가운데 최고 모델은 인간 상한 0.86 대비 0.47에 도달하고, 화자 프로필에 거의 불변이며, TACT는 이진 지표 0.46 대비 Spearman 0.81로 인간 판단과 일치한다.
디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.
현재 풀 듀플렉스(FD) 음성 대화 시스템은 유창한 상호작용을 만들어낼 수 있지만, 명시적으로 지시받았을 때 턴 테이킹(turn-taking) 행동을 적응할 수 있는지는 여전히 불분명하다. 이는 응용 분야마다 대화 정책이 다르게 적용되는(예: 능동적 튜터링 vs. 수동적 상담) 실제 배포에서 중요한 문제이다. 우리는 FD 시스템에서 제어 가능한 턴 관리를 평가하기 위한 지시 조건(instruction-conditioned) 벤치마크인 Instruct-FD를 제안한다. 이를 위해 지시 조건 대화를 생성하는 인간 검증 기반의 확장 가능한 합성 파이프라인, 배포 환경에 무관한(deployment-agnostic) 다중 턴 평가 프로토콜, LLM 기반 판정기(judge)를 개발한다. 6개의 최신(state-of-the-art) 풀 듀플렉스 시스템을 벤치마킹한 결과, 지시 준수 턴 관리에서 상당한 격차가 드러났다: 최고 성능 모델도 준수율이 64.4%에 불과하다. 성능은 행동과 시나리오에 따라 매우 불균등하며, 모델 백채널링(model backchanneling)과 끼어들기(interruption)와 같은 능동적 행동이 특히 어려운 과제로 남아 있다. 이러한 결과는 지시 준수 턴 관리가 적응 가능하고 배포 가능한 풀 듀플렉스 대화 시스템을 구축하기 위한 중요한 연구 방향임을 보여준다.
Gemini 2.5 Flash, 3.5 Flash, 3.1 Pro 모델을 전이중(full-duplex) 음성 에이전트 대화 평가자로 활용할 때의 신뢰성을 209개 스테레오 세션과 3명의 보정된 인간 평가자를 기준으로 검증한 결과, 8개 평가 차원 중 5개에서 LALM-인간 간 Spearman rho가 인간 간 합의 수준과 동등하게 나타났다. 인간 단독 평가 대비 약 100배 낮은 비용으로 증거가 뒷받침되는 차원에서 LALM을 대체 또는 4번째 평가자로 배포할 수 있는 경험적 근거를 제시하며, 모델 교체 시에는 순위 상관관계 외에 보정(calibration) 측면의 재검증이 필요함을 강조한다.
전이중(full-duplex) 음성 대화 모델은 음성 에이전트가 동시에 듣고 말할 수 있게 하여 실시간 중첩이 가능한 자연스러운 상호작용을 지원합니다. 그러나 사용자와 에이전트 스트림을 함께 인코딩하는 엔드-투-엔드 이중 채널 모델은 현실적인 음향 환경에서 성능이 저하될 수 있습니다. 사용자 마이크로 유입되는 간섭 화자가 사용자 쿼리의 일부로 인코딩되어 대규모 언어 모델(LLM)의 컨디셔닝을 오염시키고, 불안정한 발화 전환과 응답 품질 저하를 유발할 수 있습니다. 본 논문에서는 간섭 탄력적 적응형 융합(IRAF, Interference-Resilient Adaptive Fusion)을 제안합니다. IRAF는 프레임 단위로 LLM에 대한 사용자 오디오의 기여도를 조절하는 경량 스트리밍 호환 모듈입니다. IRAF는 목표 화자 및 사용자 오디오 임베딩으로부터 스칼라 신뢰도 게이트를 예측하고, 에이전트 임베딩과의 융합 전에 사용자 표현을 재스케일링합니다. MS-MARCO와 InstructS2S-200K를 대상으로 한 실험에서 간섭 화자 조건 하에 응답 품질과 전이중 상호작용 모두에서 일관된 성능 향상이 확인되었습니다.