완전 이중 통화(full-duplex) 음성 언어 모델(SLM)에서 음향·의미 모달리티가 깊은 파라미터 공간을 공유할 때 발생하는 그래디언트 충돌이 성능 저하의 근본 원인임을 밝히고, 이를 해결하기 위해 심층 레이어에서 두 모달리티를 분리하고 전용 의미 정렬 채널로 일관성을 유지하는 계층적 프레임워크 Lychee-FD를 제안한다. Spoken QA에서 +7.4%, FullDuplexBench 1.5에서 +28.5%의 성능 향상을 달성하며 추론 효율도 유지함을 입증했다.
음성 언어 모델(SLM)은 음성 인식과 추론을 통합하지만, 민감한 도메인에 대한 적응은 아직 충분히 연구되지 않았다. 특히 원본 학습 데이터에 접근할 수 없고 다국어 음성 질의 상호작용이 요구되는 경우에는 더욱 그러하다. 우리는 싱가포르의 4개 공식 언어에 걸친 5가지 음성 태스크에서 오픈소스 SLM을 싱가포르 Home Team 맥락에 적응시켰으며, LoRA 미세조정, 파국적 망각을 방지하는 대리 텍스트-QA 데이터셋, 그리고 CoBa 재가중치 방식을 음성에 적용한 멀티태스크 목적함수를 결합하였다. 또한 텍스트 및 음성 형태의 504,853개 샘플로 구성된 다국어 QA 데이터셋 HTD-multilingual-QA를 구축하였다. 그 결과물인 HT-Moonstone (5B)은 대부분의 태스크에서 자신보다 최대 7배 큰 SLM과 동등하거나 이를 능가하며, 평가된 모든 모델 중 최고의 억양 및 성별 인식 성능을 달성하고, 원본 음성 QA 능력의 2% 미만만을 손실한다.
전이중 음성 언어 모델(FD-SLMs)은 모델이 동시에 듣고 말할 수 있게 하여 매끄러운 음성 상호작용을 가능하게 하지만, 청취와 발화를 조율하는 내부 메커니즘은 아직 충분히 탐구되지 않았습니다. 우리는 FD-SLM 은닉 표현에 인코딩된 예측 행동을 분석하여, 이들이 스트림별 예측 패턴을 나타냄을 발견했습니다. 즉, 청취 중에는 들어오는 사용자 스트림을 우선적으로 예측하고, 발화 중에는 모델 출력 스트림을 우선적으로 예측합니다. 이 관찰을 바탕으로 우리는 FD-SLM이 모델 출력 생성과 정렬된 생성 상태와 들어오는 사용자 입력과 정렬된 지각 상태라는 두 가지 상태 사이에서 내부 예측 초점을 동적으로 조절함을 보여줍니다. 그러나 이러한 조절은 대화 맥락의 급격한 변화에 뒤처질 수 있습니다. 사용자 인터럽션(끼어들기) 동안 모델은 지각 상태로 전환하기 전까지 일시적으로 생성 상태로 편향되어 있어, 들어오는 입력의 시작을 놓치게 됩니다. 우리는 이 지연된 내부 전이를 상태 관성이라고 명명합니다. 그 하류 영향을 정량화하기 위해, 우리는 사용자 음성이 갑자기 시작될 때 즉각적인 인터럽션 이해를 평가하는 진단 벤치마크인 제로 버퍼 벤치마크(ZBB)를 소개합니다. 우리는 응답 정확도와 첫 단어 출현율(IWOR)을 사용하여 이 설정을 평가합니다. 마지막으로, 우리는 추가적인 계산 오버헤드가 거의 없는 학습 없는 개입인 지각 벡터를 통한 활성화 조종을 통해 상태 관성을 완화합니다. 여러 최첨단 FD-SLM에 걸쳐, 활성화 조종은 인터럽션 처리를 실질적으로 향상시킵니다. 예를 들어, PersonaPlex에서는 미세조정 없이 정확도를 28%에서 45%로, IWOR을 40%에서 72%로 향상시켰습니다.