arXiv:2611.24877v1 cs.LG

질의만으로 거대 언어 모델을 이용해 블랙박스 임상 예측 모델 감사하기: 결함을 심은 눈가림 시험

Auditing black-box clinical prediction models with a large language model through queries alone: a blinded test with planted flaws

Zhiyu Liu, Xinyu Yang

제출 2026-11-19

한국어 초록

거대 언어 모델(LLM)은 모델이 무엇을 계산하는지 설명하고, 결함을 찾아내며, 심지어 모델 속의 새로운 지식을 드러낼 수 있다는 기대 아래 임상 예측 모델을 설명하는 데 사용된다. 우리는 답을 검증할 수 있는 영역에서 이 세 가지 기대를 시험하였다. International Stroke Trial에서 먼저 무작위 배정된 환자들을 대상으로 두 가지 결과에 대해 네 종류의 모델(로지스틱 회귀, 설명 가능한 부스팅 머신, 그래디언트 부스팅 트리, 신경망)을 학습시키고, 24개의 사본 각각에 하나의 결함(과소 예측되는 하위 집단, 반전된 위험 인자 또는 비현실적인 단계)을 심은 뒤 8개의 결함 없는 모델과 섞었다. GPT-6 Astra는 모델의 예측만 반환하는 도구를 통해 각 모델을 눈가림 상태로 세 번씩 감사하였으며, 판정 규칙은 모든 실행 이전에 확정되어 프로그램으로 적용되었다. 중앙값 128개 항을 갖는 대리 모델은 감사 대상 모델의 로그 오즈를 평균 $R^2$ 0.976으로 재현하였다(분석가가 적합한 42개 항의 가법 대리 모델은 0.959). 이 모델은 72회 실행 중 69회(96%; 95% 신뢰구간 80%~99%)에서 심어진 결함을 찾았으며, 이를 위해 작성된 스크립트는 24개를 모두 찾았다. 또한 훨씬 많은 문제를 보고하였다. 검증 가능한 1,089건의 보고 중 60%가 모델의 평균 행동에 대한 사전 지정 검사를 통과하지 못했고, 사후 분석에서 이들 대부분은 실제로 존재하지만 작은 단계였으며, 검증 가능한 보고의 15%는 모델에서 발견되지 않았다. 결함 없는 모델에서 읽어낸 601개의 예기치 못한 관계 중 11%가 이후 무작위 배정된 환자들에서도 성립하였다(무작위 쌍 6%; 회귀 탐색에서 가장 강한 후보로 추린 더 짧은 목록 28%). 학습 데이터에 대한 검사 후에는 33% 대 30%였다. 질의 접근만으로도 LLM은 블랙박스 모델을 충실하게 기술하고 심어진 거의 모든 결함을 찾을 수 있으며, 이는 목적에 맞게 작성된 스크립트도 마찬가지였다. 다만 문제에 대한 보고는 모델에서, 발견은 데이터에서 검증해야 한다.

원문 초록

Large language models (LLMs) are used to explain clinical prediction models, on the promise that they can say what a model computes, find its faults and even reveal new knowledge in it. We tested the three promises where the answers could be checked. From the International Stroke Trial we trained four kinds of model (logistic regression, explainable boosting machine, gradient-boosted trees, neural network) for two outcomes on patients randomised earlier, planted one flaw in each of 24 copies (an under-predicted subgroup, a reversed risk factor or an implausible step) and mixed them with the 8 clean models. GPT-6 Astra audited each model three times, blind, through a tool that only returned the model's predictions; the judging rules were committed before any run and applied by program. Its surrogate models, with a median of 128 terms, reproduced the audited models' log-odds with a mean $R^2$ of 0.976 (0.959 for an additive surrogate of 42 terms fitted by an analyst). It found the planted flaw in 69 of 72 runs (96%; 95% CI 80% to 99%); a script written for the purpose found all 24. It also reported many more problems: 60% of 1,089 checkable reports failed the pre-specified check against the model's average behaviour; post hoc, most of these were real but small steps, and 15% of the checkable reports were not found in the model. Of 601 unexpected relationships it read out of the clean models, 11% held in patients randomised later (random pairs 6%; a regression scan's shorter list of its strongest candidates, 28%); after a check on the training data, 33% against 30%. With query access alone, an LLM can describe a black-box model faithfully and find nearly every planted flaw, as a purpose-written script also did; its reports of problems must be checked on the model and its discoveries on data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24877v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.