PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.07375v3cs.CL

TurnGuide: 동적 턴 수준 텍스트-음성 인터리빙을 통한 의미 있는 전이중 음성 상호작용 향상

TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving

전이중 음성 언어 모델(FD-SLM)의 종단 간(e2e) 학습에서 긴 음성 시퀀스와 이중 채널 오디오에 텍스트 토큰을 끼워 넣으면 시간 정렬이 깨져 대화 품질이 떨어지는 문제를, TurnGuide가 어시스턴트 발화를 대화 턴 단위로 동적 분할한 뒤 턴 수준 텍스트-음성 생성을 인터리빙해 LLM의 의미 지능을 유지하면서 자연스러운 음향 흐름을 보존하도록 제안한다. 실험에서 의미적으로 일관된 음성 생성이 크게 개선되었고 다양한 턴 교체(turn-taking) 이벤트에서 최첨단 성능을 달성했다.

arXiv:2606.11386v1cs.CL

활성화 조종을 통한 전이중 음성 언어 모델에서의 상태 관성 극복

Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering

전이중 음성 언어 모델(FD-SLMs)은 모델이 동시에 듣고 말할 수 있게 하여 매끄러운 음성 상호작용을 가능하게 하지만, 청취와 발화를 조율하는 내부 메커니즘은 아직 충분히 탐구되지 않았습니다. 우리는 FD-SLM 은닉 표현에 인코딩된 예측 행동을 분석하여, 이들이 스트림별 예측 패턴을 나타냄을 발견했습니다. 즉, 청취 중에는 들어오는 사용자 스트림을 우선적으로 예측하고, 발화 중에는 모델 출력 스트림을 우선적으로 예측합니다. 이 관찰을 바탕으로 우리는 FD-SLM이 모델 출력 생성과 정렬된 생성 상태와 들어오는 사용자 입력과 정렬된 지각 상태라는 두 가지 상태 사이에서 내부 예측 초점을 동적으로 조절함을 보여줍니다. 그러나 이러한 조절은 대화 맥락의 급격한 변화에 뒤처질 수 있습니다. 사용자 인터럽션(끼어들기) 동안 모델은 지각 상태로 전환하기 전까지 일시적으로 생성 상태로 편향되어 있어, 들어오는 입력의 시작을 놓치게 됩니다. 우리는 이 지연된 내부 전이를 상태 관성이라고 명명합니다. 그 하류 영향을 정량화하기 위해, 우리는 사용자 음성이 갑자기 시작될 때 즉각적인 인터럽션 이해를 평가하는 진단 벤치마크인 제로 버퍼 벤치마크(ZBB)를 소개합니다. 우리는 응답 정확도와 첫 단어 출현율(IWOR)을 사용하여 이 설정을 평가합니다. 마지막으로, 우리는 추가적인 계산 오버헤드가 거의 없는 학습 없는 개입인 지각 벡터를 통한 활성화 조종을 통해 상태 관성을 완화합니다. 여러 최첨단 FD-SLM에 걸쳐, 활성화 조종은 인터럽션 처리를 실질적으로 향상시킵니다. 예를 들어, PersonaPlex에서는 미세조정 없이 정확도를 28%에서 45%로, IWOR을 40%에서 72%로 향상시켰습니다.