야생에서의 주제 매칭: 실제 ASR 전사 데이터를 활용한 벤치마크 및 교훈
Topic Matching in the Wild: Benchmark and Lessons from Real-World ASR Transcripts
한국어 초록
컨택 센터에서 실시간 에이전트(agent) 지원 도구는 사전 정의된 여러 주제 각각에 대해 실제 고객 발화와의 관련성 여부를 판단하고, 관련이 있을 경우 에이전트에게 코칭 카드를 표시합니다. 입력 데이터는 노이즈가 많고 까다롭습니다. 자연스러운 전화 통화의 자동 음성 인식(ASR, Automatic Speech Recognition) 전사본은 불명확하고 반복적일 수 있으며 구두점도 거의 없습니다. 이러한 실제 환경의 과제를 체계적으로 연구하기 위해, 실제 콜센터 전사 데이터에서 추출한 인간 주석 기반의 주제-발화 판단 데이터셋(dataset)을 구축했습니다. 본 연구에서는 정규표현식(regex) 기반 기준선(baseline), 제로샷(zero-shot) 문장 임베딩(embedding) 인코더, Gemini 기반 대규모 언어 모델(LLM) 매처라는 세 가지 유형의 매처를 비교합니다. 또한 벤치마크에서 핵심어구(keyphrase)와 자연어 설명이라는 두 가지 유형의 주제 표현 방식을 연구합니다. 실증 실험 결과, 자연어 설명을 함께 활용할 경우 경량 LLM 매처가 임베딩 및 정규표현식 모델보다 우수한 성능을 보임을 확인했습니다.
원문 초록
In contact centers, real-time agent-assist tools determine, for each of many predefined topics, whether a live customer utterance is relevant and display a coaching card to the agent when it is. The input is noisy and challenging: ASR(Automatic Speech Recognition) transcripts of spontaneous phone conversations, which can be unclear, repetitive, and mostly lack punctuation. To systematically study this real-world task, we curate a human-annotated topic-utterance judgments dataset sourced from real call-center transcripts. We compare three types of matchers: a regex-based baseline, zero-shot sentence embedding encoders, and Gemini-based LLM matchers. In addition, two types of topic representations are studied in our benchmark:keyphrases and natural language description. Our empirical experiments highlight the superior performance of lightweight LLM matchers over embedding and regex models when equipped with natural language descriptions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00330v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.