PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38232v2cs.SD

음성 에이전트는 언제 행동하기에 충분한 증거를 갖추는가? PACT-SLM 계약 테스트

When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test

스트리밍 음성 에이전트(agent)는 너무 이른 시점에 행동한 후에도 올바른 최종 행동을 생성할 수 있습니다. 최종 턴 점수는 관찰된 각 음성 접두 문맥(prefix)이 노출된 행동을 뒷받침하는지 여부를 드러내지 못합니다. 본 논문에서는 최초의 유효 행동 시점을 지정하고 행동의 일치 여부와 타이밍을 모두 평가하는 통제된 테스트인 음성 언어 모델의 턴 테이킹을 위한 부분 음성 행동 계약(PACT-SLM)을 소개합니다. 주요 테스트에서는 4개의 미확인(held-out) 의미 계열에서 추출한 80개의 쌍을 이룬 대조군을 통해 클린 환경 및 15dB 노이즈 렌더링에 걸쳐 1,600개의 접두 문맥 예측을 도출합니다. 균형을 맞춘 브랜치 코드 대신 소스 발화 의미 목표를 사용하여 WavLM Base Plus는 26.03%의 풀링된 시작 후(post-onset) 의미 레이블 정확도(95% 그룹 부트스트랩 구간 [22.14%, 29.68%])를 달성하고, 시작 전(pre-onset) 접두 문맥의 18.99%에서 행동을 노출하며, 완전한 궤적의 5.94%를 정확하게 예측합니다. 해당 모델의 풀링된 레이블 점수는 접두 문맥 내 100개 레이블 순열 중 96번째 백분위수에 해당하며, 97.5번째 백분위수 기준치(26.73%)를 밑돕니다. 이 모델은 풀링된 시작 후 레이블 정확도에서 매칭된 텍스트, 스칼라-음향 및 셔플된 표현 프로브를 능가합니다. 경과 시간은 시작 시점 정확도가 더 높지만(23.13% 대비 36.25%) 행동 일치도에 대한 정확도는 더 낮습니다(26.03% 대비 9.92%). 이러한 결과는 부분 음성 평가에서 행동의 일치 여부와 시작 타이밍을 별도로 측정해야 함을 시사합니다.

arXiv:2609.26488v1cs.CL

소리 내어 생각하는 구어 언어 모델

Spoken Language Models that Think Aloud

사고의 연쇄(Chain-of-Thought, CoT) 추론은 언어 모델의 능력을 향상시켜 왔으나, 구어 언어 모델(SLM)에 이를 직접 적용하면 직렬적인 "생각 후 발화(think-then-speak)" 패러다임에서 긴 침묵 구간이 생겨 실시간 구어 상호작용을 방해할 수 있다. 이 문제를 해결하기 위해 우리는 Thinker-Talker 아키텍처 안에서 추론 기반 SLM을 위한 비동기 think-aloud 프레임워크를 제안한다. 이 프레임워크는 논리적 연역을 담당하는 주 추론 스트림과, 사용자 입력 및 변화하는 추론 상태를 조건으로 짧고 과제에 그라운딩된 진행 발화를 생성하는 경량 think-aloud 스트림을 유지한다. 동적 균형 전략이 런타임에 두 스트림을 조율하며, 침묵 공백을 피하기 위해 추가 think-aloud 발화를 트리거하고 최종 응답이 준비되면 대기 중인 발화를 취소한다. 구어 추론 및 질의응답 벤치마크 실험에서 본 접근법은 추론 중 사용자에게 들리는 침묵을 크게 줄이면서 직렬 "think-then-speak" 기준선과 비슷한 답변 정확도를 유지함을 보여 주며, SLM에서 반응형 상호작용을 위한 비동기 think-aloud의 잠재력을 입증한다.