arXiv:2611.21001v2 cs.CL

목소리도 중요한가? 실제 임상 음성 에이전트 통화에서 환자의 답답함 탐지 평가

Does the Voice Matter? Evaluating Frustration Detection on Deployed Clinical Voice-Agent Calls

Annika Michael, Zachary Ellis, Yuxiang Zhou, Samuel Thio, Yajie Vera He, Spencer Hazel, Jared Joselowitz

제출 2026-11-17

한국어 초록

자율 음성 에이전트가 일상적인 임상 추적 통화를 맡으면서 일부 분류 작업도 자동화할 수밖에 없다. 환자가 답답함을 느끼는지 파악하는 것이 그중 하나다. 이런 시스템은 대개 실제 음성 대신 음성 인식으로 만든 전사문만 읽는다. 실제 임상 통화에서 전사문만으로 충분한지는 거의 검증되지 않았다. 본 연구는 실제 배치된 임상 음성 에이전트가 환자와 통화할 때 발화 차례별로 답답함을 탐지하는 성능을 살폈다. 주석자 세 명이 레이블을 붙인 통화 6건의 발화 150개와 길이를 맞춘 연기 음성 말뭉치를 대조용으로 사용했고, 통화 30건의 발화 714개를 평가했다. 실제 환자 발화는 대부분 매우 짧았다. 실제 통화에서는 약 59%가 한두 단어였고 전체 연기 말뭉치에서는 13%였다. 연기 말뭉치의 길이를 맞추고도 두 말뭉치의 정확도 차이는 남았다. 한 단어 발화를 전사문만으로 탐지한 성능은 우연 수준일 가능성을 배제하지 못했다. 음성을 처리할 수 있는 언어 모델 다섯 개를 평가했을 때, 전사문만 사용하면 통화 30건에서 답답함을 나타낸 한 단어 발화 39개 가운데 3개 또는 4개를 찾아냈다. 단어 수만 사용한 분류기의 정확도는 57.3%였다. 음성이 도움이 되는지는 모델과 지시에 따라 달랐다. 말하는 방식에 주의를 기울이라고 지시하면, 두 Gemini 2.5 모델의 통화 30건 성능은 전사문만 사용했을 때보다 3.0%포인트 높았다(−1.0~7.5%포인트). 두 모델이 답답함이 없다고 확신한 발화 가운데 실제로 답답함이 있었던 비율은 음성 사용 시 6.9%, 전사문 사용 시 13.0%였다. 차이는 6.1%포인트였다(2.2~10.4%포인트). 통화 30건에서 두 입력에 같은 프롬프트를 사용하면 어떤 모델도 음성-전사문 차이의 구간에서 0을 배제하지 못했다. 입력별 프롬프트를 사용했을 때는 더 새로운 Gemini 모델 하나와 더 작은 공개 모델 두 개가 전사문보다 음성에서 성능이 낮았다(−3.5, −8.6, −10.6%포인트). 임상 통화로 학습한 WavLM 프로브는 전체에서 가장 좋은 프롬프트 기반 모델과 같은 정확도 71.6%를 냈지만, 추가한 통화 24건의 답답함을 나타낸 한 단어 발화를 모두 놓쳤다. 환자의 발화가 짧을 때는 전사문만으로 답답함이 없다고 판단하기 어렵다.

원문 초록

Autonomous voice agents now conduct routine clinical follow-up calls, so some automated triage is unavoidable. A patient becoming frustrated is one thing that triage should catch. These systems typically read only the transcript the speech-to-text stage produces, not the voice, and whether that is enough is largely untested on real clinical speech. We study per-turn frustration detection on real patient calls from a deployed clinical voice agent: 150 turns from six calls labelled by three annotators, with a length-matched acted corpus as a control, and 714 turns from 30 calls. Patient turns are overwhelmingly short: across the deployed calls, roughly 59% are one or two words, against 13% in the full acted corpus, and a corpus accuracy gap remains even after the acted set is length-matched. On one-word turns, transcript-only detection does not exclude chance. Across five audio-capable language models, the transcript flags 3 or 4 of the 39 frustrated one-word turns in the 30 calls, and a classifier given only the word count reaches 57.3%. Whether audio helps depends on the model and on the instruction. Asked to attend to delivery, two Gemini 2.5 models gain 3.0 pp over the transcript across 30 calls (-1.0 to 7.5 pp). Of the turns they confidently clear, 6.9% were in fact frustrated for audio against 13.0% for the transcript, a difference of 6.1 pp (2.2 to 10.4 pp). Across the 30 calls, given one prompt identical for both inputs, no model's audio-text interval excludes zero. Under the input-specific prompts, a newer Gemini model and two smaller open models do worse with audio than with the transcript (-3.5, -8.6 and -10.6 pp). A WavLM probe trained on the clinical calls matches the best prompted model overall (71.6%) but misses every frustrated one-word turn in the 24 added calls. When a patient's turn is short, the transcript alone is not enough to rule out frustration.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21001v2제출 시각 미확인
  2. arXiv:2611.21001v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.