CreateScore: LLM 기반 이력서 심사를 위한 도메인 이론 기반 베이지안 라우팅
CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening
대규모 언어 모델(LLM)은 루브릭 기반의 이력서(CV) 심사를 지원할 수 있지만, 모든 지원자와 평가 기준에 고성능 모델을 적용하는 것은 비용이 많이 듭니다. 본 논문에서는 기준 단위 LLM 라우팅을 위한 도메인 이론 기반 베이지안 네트워크인 CreateScore를 제안합니다. 디리클레-다항(Dirichlet-multinomial) 조건부 확률표를 갖춘 수작업 지정 방향성 비순환 그래프(DAG)가 이력서 증거를 사후 불확실성으로 변환하며, 불확실성이 낮은 결정은 로컬 8B 모델로 처리하고 불확실한 결정은 120B 레퍼런스 모델로 이관(escalate)합니다. 그래프는 인과적으로 동기 부여되었으나, 시스템은 인과 추론이 아닌 표준 베이지안 조건화를 수행합니다. 이관 임계값은 학습(training) 폴드에서 보정된 후(목표: 70% 로컬 처리) 고정됩니다. 200개의 합성 데이터 사이언스 이력서(학습 139건, 테스트 61건, 5개 기준)를 대상으로 평가한 결과, 기준 결정의 77.7%(305건 중 237건)가 로컬에서 처리되었습니다. 120B 모델이 모든 기준을 판정한 기준 조건과 비교했을 때, 라우팅된 이관은 토큰 사용량을 65.2% 줄였고 정확한 점수 일치도를 32.8%(8B 단독)에서 42.6%(95% CI 31.0-55.1%)로 높였습니다. 다만 n = 61에서 이 향상은 통계적으로 유의미하게 구분되지 않았습니다. 그러나 불확실성 신호는 8B 모델이 오류를 범한 결정을 식별하지는 못했습니다. 레퍼런스와의 불일치율은 이관된 결정에서 16.2%, 로컬에서 해결된 결정에서 19.4%였으며(AUROC 0.47, 95% CI 0.39-0.56), 이는 무작위 선택보다 나을 바가 없었습니다. 또한 잘린 추론 모델의 출력이 로컬 레이블로 조용히 대체되면서 이전 평가가 무효화되었던 과정을 기록하고 캐스케이드 평가를 위한 안전장치를 권장합니다. CreateScore는 표적화된 오류 탐지기가 아닌 감사 가능한 비용 절감 메커니즘으로 뒷받침되며, 자율 채용 시스템은 아닙니다.