위기에 처한 고객 돕기: 대화, 탐색 질문, 라우팅을 수행하는 LLM 기반 에이전트
Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes
은행은 매년 수백만 건의 사기, 스캠 및 분쟁 거래 신고를 접수하므로, 고객을 적절한 전문 지원팀으로 정확하게 안내하는 데 어려움을 겪고 있습니다. 사람이 직접 수행하는 기존의 수동 프로세스는 느릴 뿐만 아니라 고객과 직원 모두에게 큰 스트레스를 줍니다. 이를 해결하기 위해, 본 연구에서는 대규모 언어 모델(LLM)을 활용하여 다중 턴(multi-turn) 대화를 나누고, 관련 질문을 던지며, 정책에 기반한 정확한 라우팅을 위해 사례를 분류하는 고객 대면형 AI 분류(triaging) 에이전트를 개발하여 고객 여정에 통합했습니다. 에이전트를 평가하고 지속적으로 개선하기 위해 실제 고객의 합성 디지털 트윈(synthetic digital twins)을 시뮬레이션했으며, 과거 데이터를 기반으로 레이블이 지정된 사실적인 대화를 생성하여 광범위한 실제 시나리오를 테스트했습니다. 본 연구는 분류 에이전트의 모델링 접근 방식, 정책과의 통합, 안전성 가드레일 및 추론 프레임워크, 확장 가능한 평가를 위한 합성 에이전트의 활용, 그리고 해당 AI 시스템의 정확도, 강건성, 규정 준수성에 대한 분석 결과를 상세히 다룹니다. 실험 결과, 이 에이전트는 과거 사례의 분류 작업을 성공적으로 개선하여 분류 정확도를 30.6% 향상시켰으며, 도메인 전문가들로부터 높은 만족도를 얻었습니다. 이는 정밀한 탐색 질문이 대규모 은행 업무에서 얼마나 더 효과적인 분류로 이어질 수 있는지를 잘 보여줍니다.