기업 에이전트 라우팅 스케일링: 저하, 진단 및 복구
Scaling Enterprise Agent Routing: Degradation, Diagnosis, and Recovery
프로덕션 대규모 언어 모델(LLM) 어시스턴트는 사용자 요청을 점점 커지는 전문 도구 라이브러리로 라우팅하지만, 카탈로그가 스케일링될 때 라우팅 정확도는 어떻게 저하되는가? 배포된 기업 생산성 어시스턴트의 110개 에이전트, 584개 도구 카탈로그에서 단일 단계 라우팅을 연구하며, 10개에서 110개 에이전트까지 세 가지 프론티어 모델을 평가한다. 사양이 부족한 요청에 대한 라우팅 F1은 모델 전반에 걸쳐 16–23퍼센트 포인트 하락한다. 오라클 분석은 저하를 검색(retrieval) 격차(모델이 올바른 도구를 찾아내지 못함)와 혼동(confusion) 격차(완벽한 검색이어도 오라클 상한이 10pp 하락)로 분해한다. 임베딩 기반 단기 목록화(shortlisting)는 두 제공자와 세 모델 모두에서 전체 규모에서 F1을 +10–11pp 회복한다. 프로덕션 주석 연구(1,435개의 사람이 라벨링한 발화, 세 명의 주석자)는 절대 성능이 10–15pp 낮음에도 불구하고 실제 트래픽에서 +10–17pp의 회복을 확인한다.