arXiv:2610.02972v1 cs.AI

CreateScore: LLM 기반 이력서 심사를 위한 도메인 이론 기반 베이지안 라우팅

CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening

Rupsa Roy

제출 2026-10-02

저자 비고

arXiv Comments

11 pages, 5 figures, 7 tables (Excluding Appendix). CreateScore Planner App GitHub repo link: https://github.com/rupsa-arc1-2441139/createscore

한국어 초록

대규모 언어 모델(LLM)은 루브릭 기반의 이력서(CV) 심사를 지원할 수 있지만, 모든 지원자와 평가 기준에 고성능 모델을 적용하는 것은 비용이 많이 듭니다. 본 논문에서는 기준 단위 LLM 라우팅을 위한 도메인 이론 기반 베이지안 네트워크인 CreateScore를 제안합니다. 디리클레-다항(Dirichlet-multinomial) 조건부 확률표를 갖춘 수작업 지정 방향성 비순환 그래프(DAG)가 이력서 증거를 사후 불확실성으로 변환하며, 불확실성이 낮은 결정은 로컬 8B 모델로 처리하고 불확실한 결정은 120B 레퍼런스 모델로 이관(escalate)합니다. 그래프는 인과적으로 동기 부여되었으나, 시스템은 인과 추론이 아닌 표준 베이지안 조건화를 수행합니다. 이관 임계값은 학습(training) 폴드에서 보정된 후(목표: 70% 로컬 처리) 고정됩니다. 200개의 합성 데이터 사이언스 이력서(학습 139건, 테스트 61건, 5개 기준)를 대상으로 평가한 결과, 기준 결정의 77.7%(305건 중 237건)가 로컬에서 처리되었습니다. 120B 모델이 모든 기준을 판정한 기준 조건과 비교했을 때, 라우팅된 이관은 토큰 사용량을 65.2% 줄였고 정확한 점수 일치도를 32.8%(8B 단독)에서 42.6%(95% CI 31.0-55.1%)로 높였습니다. 다만 n = 61에서 이 향상은 통계적으로 유의미하게 구분되지 않았습니다. 그러나 불확실성 신호는 8B 모델이 오류를 범한 결정을 식별하지는 못했습니다. 레퍼런스와의 불일치율은 이관된 결정에서 16.2%, 로컬에서 해결된 결정에서 19.4%였으며(AUROC 0.47, 95% CI 0.39-0.56), 이는 무작위 선택보다 나을 바가 없었습니다. 또한 잘린 추론 모델의 출력이 로컬 레이블로 조용히 대체되면서 이전 평가가 무효화되었던 과정을 기록하고 캐스케이드 평가를 위한 안전장치를 권장합니다. CreateScore는 표적화된 오류 탐지기가 아닌 감사 가능한 비용 절감 메커니즘으로 뒷받침되며, 자율 채용 시스템은 아닙니다.

원문 초록

Large language models (LLMs) can support rubric-based screening of CVs, but applying a high-capability model to every candidate and criterion is costly. We present CreateScore, a domain-theory-informed Bayesian network for criterion-level LLM routing. A hand-specified directed acyclic graph with Dirichlet-multinomial conditional probability tables converts CV evidence into posterior uncertainty; low-uncertainty decisions are resolved by a local 8B model and uncertain ones are escalated to a 120B reference model. The graph is causally motivated, but the system performs standard Bayesian conditioning, not causal inference. The escalation threshold is calibrated on a training fold (target: 70% resolved locally) and then frozen. On 200 synthetic Data Science CVs (139 training and 61 test candidates, five criteria), 77.7% of criterion decisions were resolved locally (237 of 305). Relative to a reference condition in which the 120B model adjudicated every criterion, routed escalation reduced token use by 65.2% and raised exact score agreement from 32.8% (8B alone) to 42.6% (95% CI 31.0-55.1%); at n = 61 the gain was not statistically distinguishable. The uncertainty signal did not, however, identify the decisions on which the 8B model erred: disagreement with the reference was 16.2% among escalated and 19.4% among locally resolved decisions (AUROC 0.47, 95% CI 0.39-0.56), no better than random selection. We also document how an earlier evaluation was invalidated when truncated reasoning-model outputs were silently replaced by local labels, and we recommend safeguards for cascade evaluation. CreateScore is supported as an auditable cost-reduction mechanism, not yet as a targeted error detector, and is not an autonomous hiring system.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02972v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15948v1cs.AI공통 태그 Decision Making, Bayesian Inference, Uncertainty Quantification

비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법

Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment

능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.

arXiv:2609.38005v2cs.AI공통 태그 Decision Making, Bayesian Inference, Uncertainty Quantification

대규모 언어 모델의 확률적 추론 진단 및 개선

Diagnosing and Improving Probabilistic Reasoning in Large Language Models

대규모 언어 모델(LLM)은 명시적인 의사결정 비용이 수반되는 상황에서 가용한 증거로부터 확률적으로 추론해야 하는 의사결정 보조 도구로 점차 제안되고 있습니다. 본 연구에서는 LLM의 의사결정 손실(decision loss)을 두 가지 요소, 즉 제공된 증거로부터 정확한 신념(belief)을 형성하는 것과 해당 신념을 제공된 효용 함수를 최적화하는 행동으로 변환하는 것으로 분해하는 의사결정론적 프레임워크를 제안합니다. 정답(ground truth)이 알려진 합성 벤치마크를 활용하여, 이러한 분해 기법을 적용해 프론티어 모델 및 오픈소스 모델의 확률적 추론을 분석합니다. 나아가 신념, 의사결정 또는 둘 모두를 목표로 하는 강화학습(RL) 개입이 세 가지 도메인에 걸쳐 이러한 구성 요소들을 개선하는지, 개선 사항이 구성 요소 및 유도 형식(elicitation format) 간에 전이되는지, 그리고 신념 형성의 개선 없이도 의사결정 성능이 향상될 수 있는지를 평가합니다. 그 결과, 확률적 추론의 한 가지 요소를 목표로 할 경우 의사결정 손실이 재분배되어 목표 대상은 개선되지만 다른 요소로 반드시 전이되지는 않는다는 점을 발견했습니다. 또한 신념 형성과 의사결정을 공동으로 목표로 삼으면 두 요소 모두 개선되지만, 이는 학습(training)과 평가 간의 형식이 일치하는지에 달려 있음을 확인했습니다.

arXiv:2609.26550v4cs.AI공통 태그 Decision Making, Uncertainty Quantification, model cascading

판사로서의 JEV: 확신할 때 수용하고 불확실할 때 상위 모델로 에스컬레이션하기

JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

LLM-as-a-judge는 평가(evaluation) 규모를 확장하지만, 추론 기반 판사는 느리고 비용이 많이 듭니다. 본 연구에서는 텍스트 대신 레이블 확률을 반환하며 그 확신도(confidence)에 따라 자체 판정을 수용할지 아니면 추론 기반 판사로 에스컬레이션(escalate)할지를 결정하는 결정 전용 판사인 JEV를 활용한 평가 방식인 'JEV-as-a-Judge'를 연구합니다. 블라인드 인간 판정을 거쳐 16개의 생성형 판사 및 보상 모델(reward model) 판사와 비교했을 때, JEV는 텍스트로부터 판정을 바로 판독할 수 있는 경우 GPT-6 비용의 0.36% 및 0.15초의 중앙값 지연 시간(median latency)만으로 GPT-6와 3점 이내의 격차를 보였으며, 수학, 코드, 논리와 같이 판정을 도출해 내야 하는 영역에서는 뒤처졌습니다. JEV의 확신도는 이러한 경계를 명확히 나타냅니다. 사전에 고정된 임계값을 적용하여 확신도가 높은 판정은 수용하고 나머지는 에스컬레이션했을 때, 1,610개의 홀드아웃(held-out) 쌍에서 GPT-6 비용의 41%로 GPT-6보다 0.9점 더 높은 정확도를 달성했으며, 사전에 지정된 두 개의 새로운 워크로드 대상 실시간 테스트에서 해당 캐스케이드는 GPT-6의 정확도와 정확히 일치했습니다. 확신도 라우팅은 스타일에 대한 적대적(style-adversarial) 쌍 및 참조 없는 산문에서 약화되며, 마지막으로 임계값을 로컬에서 검증하기 위한 간단한 방안을 제시합니다.

arXiv:2609.24876v1cs.AI공통 태그 Decision Making, Bayesian Inference, Uncertainty Quantification

사회적 능동 추론에서의 파트너별 정서적 정밀도

Partner-Specific Affective Precision in Social Active Inference

다중 에이전트 사회적 맥락에서는 관계마다 모델 신뢰성이 달라진다. 타인이 무엇을 할지 추론하는 것을 넘어, 에이전트는 그 추론이 각 관계에 대해 정책 선택을 얼마나 확신 있게 이끌어야 하는지 보정해야 한다. 한 파트너에 대해서는 잘 검증된 모델을, 다른 파트너에 대해서는 취약한 모델을, 또 다른 파트너에 대해서는 수정 중인 모델을 유지할 수 있으며, 이를 단일 신뢰도 추정으로 묶으면 정책 선택에 관련된 정보가 사라진다. 따라서 우리는 정서적 정밀도를 현재 파트너 모델에 대한 신뢰의 관계 특이적 메타인지적 추정으로 형식화한다. 각 파트너의 행동 증거는 국소 신뢰도 추정을 갱신하고, 이는 선택 시 정책 정밀도를 조절하여 그 신념의 내용을 바꾸기보다는 정책에서 현재 신념이 얼마나 강하게 표현되는지를 조절한다. 다중 파트너 등급 신뢰 게임에서의 시뮬레이션은 파트너 국소 정서적 정밀도가 행동에 주로 파트너 상태 추론의 직접적 개선보다는 정책 확약을 통해 영향을 미침을 보여준다. 이 메커니즘이 실현된 보상이 아니라 파트너 반응의 예측 가능성을 추적하기 때문에, 더 큰 신뢰는 반드시 더 높은 보상을 낳지 않으면서도 더 날카로운 정책 확약을 만든다. 사회적 행동의 급격한 변화 아래에서는 이전에 신뢰할 만했던 예측에서 축적된 신뢰가 관계가 바뀐 뒤에도 행동적으로 활성 상태로 남을 수 있어, 신뢰 수정이 사회적 변화 뒤처질 수 있음을 보여준다. 마지막으로 정밀도 이득과 사전분포를 달리하면 서로 다른 신뢰 보정 역학이 나타나, 신뢰의 축적과 수정이 모델 매개변수에 어떻게 의존하는지를 보여준다. 종합하면, 이러한 결과는 관계 특이적 정서적 정밀도가 사회적 예측과 사회적 정책 확약을 어떻게 구분할 수 있는지를 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.