그럴듯한 계층 구조에서 유용한 분류 체계로: 고객 피드백에 대한 에이전트 하네스 평가
From Plausible Hierarchies to Useful Taxonomies: Evaluating Agentic Harnesses on Customer Feedback
한국어 초록
분류 체계(taxonomy)는 AI 시스템이 방대한 문서 집합 전반에서 근거를 정리하고, 패턴을 집계하며, 질문에 답하는 기호적 표현(symbolic representation)입니다. 고객 피드백에서 범주 트리는 모든 레코드가 어떻게 집계 및 라우팅되는지, 어떤 문제가 드러나는지, 그리고 어떤 팀이 이를 담당하는지를 결정합니다. 오늘날 에이전틱 하네스(agentic harness)를 활용하면 그럴듯해 보이는 계층 구조를 쉽게 생성할 수 있으며, 현재 이러한 트리는 각 이름이 설명에 부합하는지, 적절한 부모 아래에 위치하는지, 형제 노드와 구별되는지 등 일반적이고 개별적인 범위의 검사로 검증됩니다. 본 논문에서는 보다 운영 관점의 질문을 던집니다. 즉, 생성된 계층 구조가 프로덕션 분류 체계로서 실제로 유용한 시점은 언제인가입니다. 저자들은 두 개의 자체 피드백 말뭉치(1,940건 및 5,000건의 레코드)를 대상으로 6개의 분류 체계를 구축했습니다. 각 말뭉치마다 프로덕션 기준 참조본 1개와 동일한 입력 조건에서 동일한 하네스를 두 번 반복 실행하여 생성한 결과물이 포함됩니다. 6개 모두 모든 일반적인 명명 및 구조 검사를 통과했으며, 보다 심층적인 제품 커버리지 검사에서는 생성된 트리가 오히려 더 선호되었습니다. 그러나 생성된 모든 트리에서는 리프 노드 이름의 최소 97.7%가 상위 노드의 이름을 단순히 재진술하는 데 그쳤고(참조본에서는 각각 13.9% 및 2.9%), 한 트리에서는 레코드 4건 중 3건이 여러 최상위 범주에 중복 분류되었습니다. 이에 본 논문에서는 두 가지 제품군으로 구성된 전체 트리 메트릭을 제안합니다. 구조적 판별자(structural discriminator)는 트리의 형태가 데이터로부터 학습되었는지 아니면 생성기에 의해 강제되었는지를 검정하며, 팀 분할 가능성(team partitionability)은 하위 브랜치가 피드백을 각 팀이 담당할 수 있는 그룹으로 나누는지를 검정합니다. 일반적 검사에서 동등하게 정확하다고 평가된 트리 간에도 브랜치 간 누출(leakage)에서 27%p 차이가 났으며, 둘 중 단 하나만이 무작위 분할보다 나은 성능을 보였습니다. 표면적인 그럴듯함만으로는 분류 체계 품질을 측정하기에 불충분하며, 평가는 각 노드뿐만 아니라 트리 전체를 함께 측정해야 합니다.
원문 초록
Taxonomies are the symbolic representations through which AI systems organize evidence, aggregate patterns, and answer questions over large document collections. Over customer feedback, the category tree decides how every record is counted and routed, which problems get seen, and which team owns them. Agentic harnesses now make it easy to generate a plausible-looking hierarchy, and such trees are checked today with generic, individually scoped checks: each name fits its description, sits under the right parent, and stays distinct from its siblings. We ask a more operational question: when is a generated hierarchy actually useful as a production taxonomy? We build six taxonomies over two proprietary feedback corpora (1,940 and 5,000 records): for each corpus, a production reference and two repeated runs of the same harness under identical inputs. All six pass every generic naming and structure check, and a deeper product-coverage check even prefers the generated trees. Yet in every generated tree at least 97.7% of leaf names merely restate an ancestor's name (13.9% and 2.9% in the references), and in one, three of every four records fall under multiple top-level categories. We introduce two families of whole-tree metrics: structural discriminators test whether a tree's shape was learned from the data or imposed by its generator; team partitionability tests whether branches split feedback into groups teams can own. Trees the generic checks rate as equally correct differ by 27 percentage points in cross-branch leakage, and only one of the two beats a random split. Surface plausibility is an insufficient measure of taxonomy quality: evaluation must measure the whole tree as well as each node.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.