그럴듯한 계층 구조에서 유용한 분류 체계로: 고객 피드백에 대한 에이전트 하네스 평가
From Plausible Hierarchies to Useful Taxonomies: Evaluating Agentic Harnesses on Customer Feedback
분류 체계(taxonomy)는 AI 시스템이 방대한 문서 집합 전반에서 근거를 정리하고, 패턴을 집계하며, 질문에 답하는 기호적 표현(symbolic representation)입니다. 고객 피드백에서 범주 트리는 모든 레코드가 어떻게 집계 및 라우팅되는지, 어떤 문제가 드러나는지, 그리고 어떤 팀이 이를 담당하는지를 결정합니다. 오늘날 에이전틱 하네스(agentic harness)를 활용하면 그럴듯해 보이는 계층 구조를 쉽게 생성할 수 있으며, 현재 이러한 트리는 각 이름이 설명에 부합하는지, 적절한 부모 아래에 위치하는지, 형제 노드와 구별되는지 등 일반적이고 개별적인 범위의 검사로 검증됩니다. 본 논문에서는 보다 운영 관점의 질문을 던집니다. 즉, 생성된 계층 구조가 프로덕션 분류 체계로서 실제로 유용한 시점은 언제인가입니다. 저자들은 두 개의 자체 피드백 말뭉치(1,940건 및 5,000건의 레코드)를 대상으로 6개의 분류 체계를 구축했습니다. 각 말뭉치마다 프로덕션 기준 참조본 1개와 동일한 입력 조건에서 동일한 하네스를 두 번 반복 실행하여 생성한 결과물이 포함됩니다. 6개 모두 모든 일반적인 명명 및 구조 검사를 통과했으며, 보다 심층적인 제품 커버리지 검사에서는 생성된 트리가 오히려 더 선호되었습니다. 그러나 생성된 모든 트리에서는 리프 노드 이름의 최소 97.7%가 상위 노드의 이름을 단순히 재진술하는 데 그쳤고(참조본에서는 각각 13.9% 및 2.9%), 한 트리에서는 레코드 4건 중 3건이 여러 최상위 범주에 중복 분류되었습니다. 이에 본 논문에서는 두 가지 제품군으로 구성된 전체 트리 메트릭을 제안합니다. 구조적 판별자(structural discriminator)는 트리의 형태가 데이터로부터 학습되었는지 아니면 생성기에 의해 강제되었는지를 검정하며, 팀 분할 가능성(team partitionability)은 하위 브랜치가 피드백을 각 팀이 담당할 수 있는 그룹으로 나누는지를 검정합니다. 일반적 검사에서 동등하게 정확하다고 평가된 트리 간에도 브랜치 간 누출(leakage)에서 27%p 차이가 났으며, 둘 중 단 하나만이 무작위 분할보다 나은 성능을 보였습니다. 표면적인 그럴듯함만으로는 분류 체계 품질을 측정하기에 불충분하며, 평가는 각 노드뿐만 아니라 트리 전체를 함께 측정해야 합니다.