부호 있는 어휘 근거를 통한 대화형 AI의 위험 보정 의도 라우팅
Risk-Calibrated Intent Routing for Conversational AI via Signed Lexical Evidence
한국어 초록
언어 모델의 발전으로 사람들이 자신의 말로 정보를 찾고, 글쓰기 도움을 받고, 실용적인 조언을 요청할 수 있게 되면서 대화형 AI가 널리 사용되고 있다. 어시스턴트가 특정 작업을 처리할 때에는 사용자가 원하는 바를 추론하고 그 예측에 따라 행동할지 결정해야 한다. 문장 분류기의 신뢰도는 표현에 담긴 단서를 놓칠 수 있다. 본 연구는 분류기의 상위 두 점수 간 격차를 부호 있는 어휘 근거, 즉 단어와 짧은 문자 패턴에 기반한 점수와 결합한다. 이 점수는 해당 패턴이 예측된 의도를 지지하면 양수이고 다른 의도를 지지하면 음수이다. 별도의 보정 데이터와 오류율에 대한 통계적 상한을 사용하여 요청을 수락하는 데 필요한 최소 신뢰도를 설정한다. 데이터셋당 열 번의 실행에서, 제안 방법은 더 많은 요청을 수락할수록 오류가 어떻게 변하는지를 요약하는 위험-커버리지 곡선 아래 면적을, 문장 분류기 점수만 사용하는 신뢰도 모델에 비해 BANKING77, CLINC150, HWU64에서 각각 15.8%, 15.1%, 11.8% 감소시킨다. 5% 오류 목표에서 수락된 요청의 비율은 BANKING77에서 1.83%p, HWU64에서 5.14%p 상승한다. CLINC150은 해당 목표에서 이미 거의 전체 커버리지를 달성한다. 2% 목표에서는 보정 과정이 30번의 모든 실행에서 일부 요청을 수락하는 규칙을 찾아낸다. 본 연구의 기여는 표현이 원래의 의도 예측을 얼마나 강하게 지지하거나 반박하는지를 측정하여 라우팅을 개선하는 두 특징 기반 신뢰도 모델이다.
원문 초록
Conversational AI has become widely used as advances in language models let people find information, get writing help, and ask for practical guidance in their own words. When an assistant handles specific tasks, it must infer what the user wants and decide whether to act on that prediction. A sentence classifier's confidence can miss clues in the wording. We combine the gap between the classifier's two highest scores with signed lexical evidence, a score based on words and short character patterns. The score is positive when those patterns favor the predicted intent and negative when they favor another. We use separate calibration data and a statistical upper bound on the error rate to set the minimum confidence required to accept a request. Across ten runs per dataset, our method reduces the area under the risk-coverage curve, which summarizes error as more requests are accepted, by 15.8%, 15.1%, and 11.8% on BANKING77, CLINC150, and HWU64, respectively, compared with a confidence model that uses only sentence classifier scores. At a 5% error target, the share of accepted requests rises by 1.83 percentage points on BANKING77 and 5.14 points on HWU64. CLINC150 already has near-full coverage at that target. At a 2% target, calibration finds a rule that accepts some requests in all 30 runs. Our contribution is a two-feature confidence model that improves routing by measuring how strongly the wording supports or challenges the original intent prediction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.00262v2제출 시각 미확인
- arXiv:2610.00262v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.