arXiv:2611.22612v1 cs.AI

진단은 맞지만 과정은 위험할 수 있다: 임상 AI 의사결정과 교정 감독의 타당성 및 잠재 위해 감사

Right Diagnosis, Unsafe Route: Auditing Clinical AI Decision Trajectories and Corrective Oversight for Validity and Potential Harm

Guanqiao Chen, Wei Jiang, Shu Zhang, Qian Lin, Guanxu Yu, Siran Li, Chunhui Wang, Tianyu Shi

제출 2026-11-18

한국어 초록

임상 AI 시스템은 환자에게 해를 끼칠 수 있는 중간 결정을 거쳐도 최종 진단을 맞힐 수 있다. 한 오류를 고치는 과정에서 새로운 위험을 만들 수도 있다. 대부분의 평가는 최종 진단을 채점한다. 증례의 근거를 시간순으로 공개하는 단계별 벤치마크도 환자가 거치는 의사결정이 안전한지보다, 진단이 정확한지 또는 필요한 정보를 모았는지 평가한다. 환자 안전을 단계별 평가의 목표로 삼았다. 의사결정 궤적 감사는 실제 입원 사례를 체크포인트마다 재현한다. 각 시스템이 그 시점까지 공개된 근거만 사용해 결정하도록 한 뒤, 모든 검사, 치료, 진료 처분의 잠재적 위해와 임상적 타당성을 각각 평가한다. 기록된 최종 진단과 의사가 작성한 질환별 평가 기준을 참조하되, 결정 당시 이용할 수 있었던 근거를 기준으로 판단한다. LLM 심사 모델이 모든 결정을 채점하고, 층화 표본에 대한 의사 세 명의 주석과 선임 의사의 중재로 만든 참조 표준을 사용해 비율을 보정한다. 감독 감사에서는 처음으로 개입이 필요한 오류가 발생한 지점에서 궤적을 분기한다. 같은 분기에서 교정 피드백으로 오류가 해결되는지와 새로운 위해가 생기는지를 모두 측정한다. 병원 심장내과 코호트, MIMIC-IV, 공개 ASCENT 벤치마크에서 총 300건을 수집하고 출처마다 최대 일곱 개 AI 시스템을 평가했다. 병원 코호트에서 수용 가능한 최종 진단에 도달한 궤적 중 55.2%는 잠재 위해가 중등도 이상인 결정을, 24.8%는 임상적으로 수용할 수 없는 결정을 거쳤다. 같은 잠재 위해 비율은 MIMIC-IV에서 76.2%, ASCENT에서 39.6%였다. 구조화된 교정은 첫 오류의 73.6%를 해결한 반면 단순 기각만 한 경우에는 24.8%를 해결했다. 그러나 교정 뒤 잠재적으로 안전하지 않은 새 결정이 나온 비율은 30.2%로, 단순 기각 뒤의 19.7%보다 높았다. 최종 진단이 정확해도 그 과정이 안전했다는 보장은 없으며, 오류를 고쳤다고 해서 복구 과정이 안전하다는 보장도 없다.

원문 초록

A clinical AI system can reach a correct final diagnosis through intermediate decisions that could have harmed the patient, and can repair an error while introducing new risks. Most evaluations score final diagnoses; even stepwise benchmarks, which release a case's evidence over time, score whether systems reach the right diagnosis or gather the right information, not whether the decisions a patient passes through are safe. We make patient safety the target of stepwise evaluation. A trajectory audit replays real admissions checkpoint by checkpoint, lets each system decide with only the evidence released so far, and rates every test, treatment and disposition for its potential harm to the patient and, separately, for clinical validity, against the documented final diagnosis and physician-written disease rubrics yet on the evidence available when the decision was made. An LLM judge scores every decision, and a physician reference standard (triple annotation and senior adjudication of a stratified sample) calibrates the rates. An oversight audit branches each trajectory at its first actionable error and measures, on the same branches, whether corrective feedback repairs the error and whether it introduces new harm. Across 300 cases from a hospital cardiology cohort, MIMIC-IV and the public ASCENT benchmark, with up to seven AI systems per source, 55.2% of hospital trajectories reaching an acceptable final diagnosis passed through a decision with moderate or severe potential harm and 24.8% through a clinically unacceptable one; the harm rates were 76.2% on MIMIC-IV and 39.6% on ASCENT. Structured corrections resolved 73.6% of first errors versus 24.8% after bare rejection, yet new potentially unsafe decisions followed 30.2% of corrections versus 19.7% of rejections. A correct final diagnosis does not certify a safe trajectory, and a successful correction does not certify a safe recovery.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22612v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.