arXiv:2610.24335v2 cs.AI

정답 없이 LLM 판정자 선별하기: AI 치위생 코치의 예비 평가

Screening LLM Judges Without Ground Truth: A Preliminary Evaluation of an AI Dental Hygiene Coach

William DeShong, Barath Kannan, Auberon Palma, Brenda Bradshaw, Ann Bruhn, James F. Leathrum, Jr., Yuzhong Shen

제출 2026-11-18

한국어 초록

전문가 채점자로 파인튜닝된 코칭 모델을 평가하는 것은 느리고 비용이 많이 들며, LLM 판정자는 정답 없이는 신뢰할 수 없다. 본 논문은 전문가 검토 이전에 후보 LLM 판정자와 학생 모델을 선별하는 단계별 파이프라인을 제시하며, 각 단계에서 판정자 출력 감사, 호스팅 판정자와의 유사도, 편향 점검, 결정 강건성이라는 명시적 결정 규칙을 사용한다. 이를 AI 치위생 코치에 적용하여 시연한다. 사례 연구는 합성되었고 임상적으로 검증되지 않은 학습 및 참조 데이터를 사용하며, 이는 파이프라인의 작동을 보이기 위한 것이지 결과 모델의 임상 성능을 입증하기 위한 것이 아니다. 파인튜닝된 두 소형 언어 모델(Granite-4.1-8B와 Qwen3-8B)을 각각 세 가지 데이터 크기로 학습하고, 다섯 판정자(로컬 3개, 호스팅 2개)가 일곱 개 지표로 채점하였다. 두 로컬 판정자인 Qwen3.8-27B와 Gemma-4-31B-it는 순위 상관 기준으로 일곱 개 지표 중 여섯 개에서 호스팅 판정자 간 일치도와 구별되지 않았으며, Qwen3.8-27B가 전반적으로 호스팅 판정자와 가장 유사하였다. 어떤 판정자도 자신의 모델 계열이나 학습 데이터 출처를 선호한다는 기준을 충족하지 않았다. 학생 모델 비교에서는 파이프라인의 규칙상 어떤 지표에서도 두 모델이 구분되지 않았으므로, 판정자-지표 셀 35개 중 29개에서 앞선 Granite-4.1-8B를 선택하는 것은 잘린 Qwen3-8B 출력에 부분적으로 의존하는 경향일 뿐이다. 또한 파이프라인은 원점수가 가린 문제를 드러냈는데, 잘린 출력과 다른 어떤 판정자도 뒷받침하지 않은 한 호스팅 판정자의 환각 표시가 그 예이다. 치위생 전문가가 이 응답들을 채점하지 않았으므로 결과는 예비적이며, 전문가 판단에 고정하는 파이프라인의 마지막 단계는 제안되었으나 수행되지 않았다.

원문 초록

Evaluating a fine-tuned coaching model with expert graders is slow and expensive, and an LLM judge cannot be trusted without ground truth. We present a staged pipeline that screens candidate LLM judges and student models before expert review, using explicit decision rules at each stage: judge output audit, similarity with hosted judges, bias checks, and decision robustness. We demonstrate it on an AI dental hygiene coach. The case study uses synthetic, clinically unvalidated training and reference data to demonstrate the operation of the pipeline, rather than to establish the clinical performance of the resulting models. Two fine-tuned small language models (Granite-4.1-8B and Qwen3-8B), each trained at three data sizes, were scored on seven metrics by five judges (three local, two hosted). Two local judges, Qwen3.8-27B and Gemma-4-31B-it, were not distinguishable from the agreement between the hosted judges on six of seven metrics by rank correlation, and Qwen3.8-27B was the most similar to the hosted judges overall. No judge met our criterion for favoring its own model family or training-data source. The student comparison did not separate the two models on any metric under the pipeline's rule, so the choice of Granite-4.1-8B, which led in 29 of 35 judge-by-metric cells, is a lean that depends partly on truncated Qwen3-8B outputs. The pipeline also surfaced problems that raw scores hid, including the truncated outputs and hallucination flags from one hosted judge that no other judge corroborated. No dental hygiene expert has graded these responses, so the findings are preliminary and the pipeline's final stage, anchoring to expert judgement, is proposed but not performed.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.24335v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.