arXiv:2512.15783v5 cs.AI

AI 역학을 향하여: 전향적 위험 탐지를 위한 측정 표준화 프레임워크

Toward AI epidemiology: a measurement standardization framework for prospective risk detection

Kit Tempest-Walters

제출 2026-11-18

한국어 초록

본 논문은 모델 내부에 접근하지 않고도 배포된 AI 시스템의 전향적 위험 탐지를 수행할 수 있도록, 전문가-AI 상호작용을 구조화되고 비교 가능한 필드로 압축하는 측정 표준화 프레임워크를 제안한다. 이 개념 논문은 프레임워크의 범위를 의미론적·통계적으로 정의하고, 이를 실증적으로 검증하기 위한 프로토콜을 명시한다. 따라서 이 프레임워크가 뒷받침하도록 설계된 집단 수준의 주장은 본 논문에서 주장하는 결과가 아니라 단계적 연구 프로그램에 속한다. 측정 표준화는 세 가지 주장을 뒷받침한다. 첫째는 신뢰성 주장으로, 제한된 조건에서 대규모 언어 모델이 전문가-AI 상호작용의 근거 및 정책 정렬에 대해 신뢰할 수 있는 표준화된 평가를 생성할 수 있다는 것이다. 둘째는 거버넌스 주장으로, 정렬 점수가 배포 중 전문가에게 즉각적인 신호를 제공하고 기관에는 임무 유형, 모델, 도메인 전반의 정렬 패턴을 모니터링할 근거를 제공한다는 것이다. 셋째는 결과 타당성 주장으로, 측정 표준화가 확립되면 집계된 정렬 점수를 규제된 전문 환경에서 후속 결과와의 연관성을 연구하는 데 사용할 수 있다는 것이다. 이는 역학적 추론에서 영감을 얻어 기전 분석이 아닌 상관 변수에 기반한 위험 탐지 방식인 "AI 역학"의 가능성을 제시한다. 공개된 전문가-AI 말뭉치에 프로토콜을 최소한으로 적용한 결과, 명시된 조건에서 판정 모델이 두 차례 실행에 걸쳐 정책 및 근거 정렬 점수를 재현함을 보인다. 대규모에서의 판정 모델 신뢰성은 향후 연구에서 검증되어야 한다. 본 논문은 여덟 가지 상호작용 필드로 이루어진 정의된 문법과 함께, 쌍체 부트스트랩 추론, 민감도 점검으로서 쌍체 AUC에 대한 DeLong 검정, 사전에 지정한 0.05의 단측 비열등성 한계, Holm-Bonferroni 보정에 기반한 통계 프로토콜을 제시한다.

원문 초록

This paper proposes a measurement standardization framework that compresses expert-AI interactions into structured, comparable fields for prospective risk detection in deployed AI systems, without access to model internals. This concept paper defines the framework's scope, semantically and statistically, and specifies a protocol for its empirical testing. The population-level claims it is designed to support therefore belong to a staged research program rather than to results claimed here. Measurement standardization underpins three claims. The first is a reliability claim: under bounded conditions, large language models can produce reliable, standardized assessments of the evidential and policy alignment of expert-AI interactions. The second is a governance claim: alignment scores give experts an immediate signal during deployment and give institutions a basis for monitoring alignment patterns across mission types, models, and domains. The third is an outcome validation claim: once measurement standardization is established, aggregate alignment scores could be used to study associations with downstream outcomes in regulated professional settings. This introduces the possibility of an "AI epidemiology", a form of risk detection based on correlated variables instead of mechanistic analysis, inspired by epidemiological reasoning. A minimal application of the protocol to a published expert-AI corpus shows that the judge reproduces its policy and evidential alignment scores across two runs under the specified conditions. Judge reliability at scale remains to be validated in future work. The paper sets out a defined grammar of eight interaction fields, together with a statistical protocol based on paired bootstrap inference, DeLong's test for paired AUCs as a sensitivity check, a pre-specified one-sided non-inferiority margin of 0.05, and Holm-Bonferroni correction.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.15783v5제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.