PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.08889v2cs.AI

Scalable Delphi: 구조화된 위험 추정을 위한 대규모 언어 모델

Scalable Delphi: Large Language Models for Structured Risk Estimation

정량적 위험 평가는 직접 관측할 수 없는 특성을 추정하기 위해 구조화된 전문가 의견 도출(expert elicitation)에 의존합니다. 델파이 기법(Delphi method)은 잘 보정(calibrated)되고 감사 가능한 추정치를 생성하지만, 수개월의 조율과 전문가의 시간을 필요로 하여 대부분의 응용 분야에서는 엄밀한 위험 평가를 수행하기 어렵습니다. 본 논문에서는 다양한 전문가 페르소나, 반복적 개선, 근거(rationale) 공유를 통해 고전적 프로토콜을 대규모 언어 모델(LLM)에 맞게 조정한 Scalable Delphi를 제안합니다. 이는 비용 절감을 넘어 평가 과정을 분석 가능하고 동적으로 만듭니다. 근거와 수정 이력은 각 추정치가 무엇에 기반하는지 기록하며, 어떤 증거가 중요한지 테스트하기 위해 정보를 절제(ablation)할 수 있고, 새로운 증거, 변경된 가정 또는 부정적 시나리오를 적용해 도출 과정을 재실행할 수도 있습니다. 목표 수치는 본질적으로 관측이 불가능하므로, 신뢰할 수 있는 추정기라면 반드시 만족해야 하는 필요조건(검증 가능한 대리 지표에서의 정확도 및 보정, 증거에 대한 민감도)을 바탕으로 평가 프레임워크를 설계했습니다. 전문가 패널과의 일치도 및 추론 품질은 이를 뒷받침하는 검증 자료로 활용됩니다. 두 개 도메인(AI 강화 사이버 보안 위험, 해수면 상승에 대한 빙상 기여도), 세 개 벤치마크, 재현된 세 건의 전문가 연구 전반에서 본 방법의 추정치는 이러한 테스트를 통과했습니다. 즉, 증거가 추가됨에 따라 체계적으로 개선되었고, 대부분의 수치에서 전문가 패널과 일치했으며, 실제 정답(ground truth)과 강한 상관관계(Pearson r=0.91-0.98)를 보였습니다.