PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.08889v2cs.AI

Scalable Delphi: 구조화된 위험 추정을 위한 대규모 언어 모델

Scalable Delphi: Large Language Models for Structured Risk Estimation

정량적 위험 평가는 직접 관측할 수 없는 특성을 추정하기 위해 구조화된 전문가 의견 도출(expert elicitation)에 의존합니다. 델파이 기법(Delphi method)은 잘 보정(calibrated)되고 감사 가능한 추정치를 생성하지만, 수개월의 조율과 전문가의 시간을 필요로 하여 대부분의 응용 분야에서는 엄밀한 위험 평가를 수행하기 어렵습니다. 본 논문에서는 다양한 전문가 페르소나, 반복적 개선, 근거(rationale) 공유를 통해 고전적 프로토콜을 대규모 언어 모델(LLM)에 맞게 조정한 Scalable Delphi를 제안합니다. 이는 비용 절감을 넘어 평가 과정을 분석 가능하고 동적으로 만듭니다. 근거와 수정 이력은 각 추정치가 무엇에 기반하는지 기록하며, 어떤 증거가 중요한지 테스트하기 위해 정보를 절제(ablation)할 수 있고, 새로운 증거, 변경된 가정 또는 부정적 시나리오를 적용해 도출 과정을 재실행할 수도 있습니다. 목표 수치는 본질적으로 관측이 불가능하므로, 신뢰할 수 있는 추정기라면 반드시 만족해야 하는 필요조건(검증 가능한 대리 지표에서의 정확도 및 보정, 증거에 대한 민감도)을 바탕으로 평가 프레임워크를 설계했습니다. 전문가 패널과의 일치도 및 추론 품질은 이를 뒷받침하는 검증 자료로 활용됩니다. 두 개 도메인(AI 강화 사이버 보안 위험, 해수면 상승에 대한 빙상 기여도), 세 개 벤치마크, 재현된 세 건의 전문가 연구 전반에서 본 방법의 추정치는 이러한 테스트를 통과했습니다. 즉, 증거가 추가됨에 따라 체계적으로 개선되었고, 대부분의 수치에서 전문가 패널과 일치했으며, 실제 정답(ground truth)과 강한 상관관계(Pearson r=0.91-0.98)를 보였습니다.

arXiv:2603.20388v2math.ST

교차 검증에서 SURE까지: 조율된 정규화 추정량의 점근적 위험

From Cross-Validation to SURE: Asymptotic Risk of Tuned Regularized Estimators

우리는 $n$-폴드 교차 검증(CV)으로 조율된 정규화 경험적 위험 최소화(ERM) 추정량의 점근적 위험 함수를 도출한다. 이러한 추정량의 표본 외 예측 손실은 분포적으로, Stein의 비편향 위험 추정(SURE)으로 조율된 정규 평균 모델의 수축 추정량의 제곱 오차 손실(위험 함수)에 수렴한다. 이 위험 함수는 학습 이론에서 흔히 사용되는 최악의 경우 후회에 대한 균등 상한보다 예측 성능을 더 세밀하게 보여준다: 즉, 위험이 실제 매개변수에 따라 어떻게 달라지는지를 정량화한다. 핵심 중간 단계로서, 우리는 (i) $n$-폴드 CV가 SURE로 균등 수렴하며, (ii) SURE는 일반적으로 다수의 지역 최솟값을 가지지만 그 전역 최솟값은 일반적으로 충분히 분리되어 있음을 보인다. 이 충분한 분리성은 CV의 SURE로의 균등 수렴이 CV에 의해 선택된 조율 매개변수의 SURE에 의해 선택된 매개변수로의 수렴으로 이어짐을 보장한다.

arXiv:2607.08347v1stat.ML

예측 기반 능동적 테스팅

Prediction-Powered Active Testing

레이블 비용이 높은 환경에서 블랙박스 모델의 예측값을 활용해 위험(risk) 추정의 분산을 줄이는 PPAT(Prediction-Powered Active Testing) 프레임워크를 제안하며, 기존의 비편향 LURE 추정기에 예측 기반 제어 변량(control variate)을 결합해 의사 레이블(pseudo-label) 방식의 편향 문제 없이 손실을 잔차화한다. 표 형식 회귀 및 이미지 분류 태스크에서 기존 방법 대비 위험 추정 성능이 향상되고, 더 적은 레이블로 목표 신뢰 구간 커버리지를 달성함을 실험적으로 검증하였다.