음성 에이전트(voice agent)가 상업적으로 인기를 얻으면서, 배포된 에이전트를 평가하는 데 사용되는 사용자 시뮬레이터 역시 더 현실적이고 가변적이며 다양한 발화 자연스러움 행동—비유창성(disfluency), 끼어들기(interruption), 백채널링(backchanneling)—을 포함하도록 개발되고 있다. 사용자 시뮬레이터의 품질은 에이전트 평가 결과의 타당성에 직접적인 영향을 미친다. 그러나 우리는 지금까지 대부분의 연구가 이러한 행동에 대해 의도된 설정이 시뮬레이션에서 실제로 구현되는지를 상세히 검토하지 않았다는 것을 발견했다. 본 연구에서는 세 가지 모델에 걸쳐 적용한 우리 자체의 LLM 기반 프롬프팅 접근 방식인 τ-Voice와, 비유창성, 끼어들기, 백채널링을 위한 규칙 기반 주입 알고리즘이 실제로 구현하는 자연스러움 행동을 감사한다. 우리는 이러한 행동에 대한 프롬프팅이 신뢰할 수 없으며, 지시 사항과 일치하지 않는 발화를 생성하고, 지시가 암시하는 것보다 덜 자연스럽게 배치되고 분포된다는 것을 발견했다. 반면, 우리의 규칙 기반이면서 모델에 의존하지 않는(model-free) 알고리즘은 자연스러운 발화에 더 부합하는 제어 가능하고 다양한 자연스러움 행동을 생성한다. 우리의 결과는 사용자 시뮬레이션을 위해 목적에 맞게 학습(train)되지 않은 LLM만으로는 진정한 사용자 행동을 재현하기에 충분하지 않으며, 이러한 격차를 좁히기 위해서는 언어학적으로 정교한 결정론적(deterministic) 접근 방식이나 특화된 모델이 필요하다는 것을 시사한다. 설정된 값이 아니라 실제로 구현된 자연스러움 행동을 감사하고 보고하는 것이야말로 이러한 격차를 드러내는 방법이다.
에이전트(agent) 시스템이 상업적 인기를 얻으면서, 사용자 시뮬레이터가 에이전트 평가를 위한 측정 도구로 점점 더 많이 활용되고 있습니다. 그러나 실제 인간 사용자와 비교했을 때 시뮬레이션된 사용자의 충실도는 일반적으로 낮으며, 대개 비용이 많이 들고 주관적인 대규모 언어 모델(LLM) 심사위원에 의해 평가됩니다. 본 예비 연구에서는 사용자의 페르소나를 모델이 행동으로 추론해야 하는 레이블이나 설명으로 예측되는 대상이 아니라, 관찰 가능한 언어적 스타일에서 비롯되는 사회적 유형으로 보는 사회언어학적 관점을 취함으로써 충실도를 결정론적으로 측정할 수 있는지 묻습니다. 우리는 페르소나를 구체적인 스타일적 비율로 작성하여, 저자 검증 문체측정학(authorship-verification stylometry)과 어휘 기반 내용 분석이라는 확립된 두 가지 모델-프리(model-free) 도구를 충실도 진단 도구로 전환할 수 있도록 합니다. 우리는 5개의 작업 지향 고객 서비스 에이전트를 대상으로 사회언어학적 스키마를 단순 설명형 기준선(baseline)과 비교하는 A/B 테스트를 진행했습니다. 결과에 따르면 사회언어학적 스키마는 테스트된 대부분의 모델(model)에서 스타일 준수도와 문체측정학적 구별 가능성을 모두 향상시키는 것으로 나타났으나, 페르소나 스타일 충실도가 페르소나의 "자연스러움"과 반드시 일치하지는 않는다는 한계점도 확인되었습니다. 우리는 페르소나 설계에 대한 사회언어학적 접근법이 더욱 다양하고 대표성 있는 사용자 페르소나를 구축하기 위한 유망한 경로이며, 이러한 지표들이 충실도가 저하되는 지점을 찾아내는 오류 귀속 분석에서 가장 큰 가치를 지닌다고 주장합니다. 본 연구는 사용자 시뮬레이션을 다양하고 가변적인 언어적 출력의 충실한 렌더링에 더 가깝게 만드는 개입을 향한 첫걸음입니다.
에이전트 모델은 흔히 한 번에 하나의 결정 단위로 평가되며, 모델이 골드 상호작용 이력을 바탕으로 다음 행동을 예측하고 그 결과를 참조 답과 대조해 채점한다. 우리는 이 프로토콜에서의 개선이 자율 워크플로우 실행의 개선을 예측하는지 조사한다. 다중 턴 고객 지원 워크플로우에서 4B·14B 파라미터 Qwen3 모델과 4B·12B 파라미터 Gemma 3 모델을 SFT 이전 및 지도 미세조정(SFT) 상태로 연구한다. SFT는 텍스트 턴 성공을 일관되게 향상시키며, 골드 이력 평가 하에서는 모든 모델에서 전반적인 다음 턴 성공이 증가한다. 그러나 이러한 개선은 자율 워크플로우 실행으로는 이전되지 않는다. 도구별 이득 또한 지표와 모델에 따라 달라진다. 네 SFT 모델 중 어느 것도 전체 워크플로우 평가에서 성공하지 못하며, 엄격한 궤적 완료 기준에서 워크플로우 성공률은 최대 10.4%에 그친다. 결과는 다음 턴 평가가 워크플로우 성공의 신뢰할 만한 대리 지표가 아님을 보여 주며, 텍스트 품질, 국소 행동 정확도, 도구 실행, 종단 간 과제 완료를 각각 별도로 보고할 필요를 제기한다.
컨택 센터에서 실시간 에이전트(agent) 지원 도구는 사전 정의된 여러 주제 각각에 대해 실제 고객 발화와의 관련성 여부를 판단하고, 관련이 있을 경우 에이전트에게 코칭 카드를 표시합니다. 입력 데이터는 노이즈가 많고 까다롭습니다. 자연스러운 전화 통화의 자동 음성 인식(ASR, Automatic Speech Recognition) 전사본은 불명확하고 반복적일 수 있으며 구두점도 거의 없습니다. 이러한 실제 환경의 과제를 체계적으로 연구하기 위해, 실제 콜센터 전사 데이터에서 추출한 인간 주석 기반의 주제-발화 판단 데이터셋(dataset)을 구축했습니다. 본 연구에서는 정규표현식(regex) 기반 기준선(baseline), 제로샷(zero-shot) 문장 임베딩(embedding) 인코더, Gemini 기반 대규모 언어 모델(LLM) 매처라는 세 가지 유형의 매처를 비교합니다. 또한 벤치마크에서 핵심어구(keyphrase)와 자연어 설명이라는 두 가지 유형의 주제 표현 방식을 연구합니다. 실증 실험 결과, 자연어 설명을 함께 활용할 경우 경량 LLM 매처가 임베딩 및 정규표현식 모델보다 우수한 성능을 보임을 확인했습니다.