음성 에이전트는 언제 행동하기에 충분한 증거를 갖추는가? PACT-SLM 계약 테스트
When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test
스트리밍 음성 에이전트(agent)는 너무 이른 시점에 행동한 후에도 올바른 최종 행동을 생성할 수 있습니다. 최종 턴 점수는 관찰된 각 음성 접두 문맥(prefix)이 노출된 행동을 뒷받침하는지 여부를 드러내지 못합니다. 본 논문에서는 최초의 유효 행동 시점을 지정하고 행동의 일치 여부와 타이밍을 모두 평가하는 통제된 테스트인 음성 언어 모델의 턴 테이킹을 위한 부분 음성 행동 계약(PACT-SLM)을 소개합니다. 주요 테스트에서는 4개의 미확인(held-out) 의미 계열에서 추출한 80개의 쌍을 이룬 대조군을 통해 클린 환경 및 15dB 노이즈 렌더링에 걸쳐 1,600개의 접두 문맥 예측을 도출합니다. 균형을 맞춘 브랜치 코드 대신 소스 발화 의미 목표를 사용하여 WavLM Base Plus는 26.03%의 풀링된 시작 후(post-onset) 의미 레이블 정확도(95% 그룹 부트스트랩 구간 [22.14%, 29.68%])를 달성하고, 시작 전(pre-onset) 접두 문맥의 18.99%에서 행동을 노출하며, 완전한 궤적의 5.94%를 정확하게 예측합니다. 해당 모델의 풀링된 레이블 점수는 접두 문맥 내 100개 레이블 순열 중 96번째 백분위수에 해당하며, 97.5번째 백분위수 기준치(26.73%)를 밑돕니다. 이 모델은 풀링된 시작 후 레이블 정확도에서 매칭된 텍스트, 스칼라-음향 및 셔플된 표현 프로브를 능가합니다. 경과 시간은 시작 시점 정확도가 더 높지만(23.13% 대비 36.25%) 행동 일치도에 대한 정확도는 더 낮습니다(26.03% 대비 9.92%). 이러한 결과는 부분 음성 평가에서 행동의 일치 여부와 시작 타이밍을 별도로 측정해야 함을 시사합니다.