arXiv:2606.31608v1 cs.CL

CLExEval: LLM 임상 추론의 정성적 평가를 위한 인간 참여(Human-in-the-Loop) 프레임워크

CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning

Ajmal M., Abin Roy, Afthab Salam Kanniyan, Jawadh Abdul Kabeer, Jerin James, Preslav Nakov, Zhuohan Xie

제출 2026-06-30

한국어 초록

대규모 언어 모델(LLM)은 많은 의료 벤치마크에서 우수한 성능을 달성하지만, 임상 추론의 신뢰할 수 있는 평가는 여전히 어렵다. 핵심적인 위험은 평가 환상(evaluation illusion)으로, 유창하고 구조적으로 잘 정돈된 설명이 최종 진단이 틀렸을 때에도 임상적으로 설득력 있게 보일 수 있다는 점이다. 우리는 점진적 정보 마스킹(progressive information masking) 하에서 LLM 임상 추론을 평가하기 위한 인간 참여 프레임워크인 CLExEval을 소개한다. CLExEval은 40개의 희귀 진단 사례에서 도출된 200개의 임상 추론 추적(trace)과 5,600개의 전문의 어노테이션을 결합한다. 분석을 통해 세 가지 반복적인 실패 패턴을 확인하였다: (i) 장황성 바이어스(verbosity bias) — 정보가 부족한 상황에서 GPT-4o-mini의 진단 정확도가 95.0%에서 32.5%로 하락함; (ii) 은닉 지식 역설(hidden knowledge paradox) — 전문 모델이 최대 92.5%의 진단 잠재력에 도달하지만 장황한 문맥에서는 해당 지식을 안정적으로 인출하지 못함; (iii) 68.6%에 달하는 추론-출력 불일치(reasoning-to-output mismatch) — 올바른 진단이 추론 추적에는 나타나지만 최종 답변에는 반영되지 않음. 또한 인간 검증 실패 집합(n = 142)에 대해 LLM-as-a-judge 패러다임을 평가하였다. GPT-4o-mini는 임상적으로 잘못된 출력의 47.9%를 승인하였으며, HuatuoGPT-o1은 유효하게 점수가 부여된 모든 실패 사례를 승인하고 긍정적인 자기 선호 바이어스(self-preference bias)를 보였다. 이러한 결과는 독립적인 자동화 임상 평가가 전문가 기반 검증 없이 임상 신뢰성을 크게 과대평가할 수 있음을 시사한다.

원문 초록

Large Language Models (LLMs) achieve strong results on many medical benchmarks, but their clinical reasoning remains difficult to evaluate reliably. A central risk is an evaluation illusion: fluent and well-structured explanations can appear clinically convincing even when the final diagnosis is incorrect. We introduce CLExEval, a human-in-the-loop framework for evaluating LLM clinical reasoning under progressive information masking. CLExEval combines 5,600 expert-physician annotations with 200 clinical reasoning traces derived from 40 rare diagnostic cases. Our analysis identifies three recurring failure patterns: (i) verbosity bias, where GPT-4o-mini's diagnostic accuracy drops from 95.0% to 32.5% under information scarcity; (ii) a hidden knowledge paradox, where a specialist model reaches 92.5% maximum diagnostic potential but fails to retrieve that knowledge reliably in verbose contexts; and (iii) a 68.6% reasoning-to-output mismatch, where correct diagnoses appear in reasoning traces but are not reflected in final answers. We further evaluate the LLM-as-a-Judge paradigm on a human-verified failure set (n = 142). GPT-4o-mini approved 47.9% of clinically incorrect outputs, while HuatuoGPT-o1 approved all validly scored failures and showed a positive self-preference bias. These results suggest that standalone automated clinical evaluations can substantially overestimate clinical reliability without expert-grounded validation.

요약

CLExEval은 점진적 정보 마스킹(progressive information masking)과 5,600개의 전문의 어노테이션을 결합한 인간 참여(human-in-the-loop) 임상 추론 평가 프레임워크로, LLM이 유창한 설명으로 잘못된 진단을 내려도 자동 평가자가 이를 승인하는 평가 환상(evaluation illusion) 문제를 체계적으로 분석한다. 분석 결과, GPT-4o-mini는 정보 부족 상황에서 진단 정확도가 95.0%에서 32.5%로 급락하고, 68.6%의 추론-출력 불일치(reasoning-to-output mismatch)가 관찰되는 등 독립적 자동화 평가가 임상 신뢰성을 크게 과대평가할 수 있음을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31608v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13626v1cs.SE공통 태그 Benchmarking, Hallucination, Large Language Model

SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹

SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.

arXiv:2610.02684v1cs.AI공통 태그 Diagnostic, Large Language Model, clinical reasoning

대규모 언어 모델은 환자 근거가 변화함에 따라 신뢰할 수 없는 임상적 판단 업데이트를 보인다

Large language models exhibit unreliable updating of clinical judgment as patient evidence evolves

임상적 추론을 위해 대규모 언어 모델(LLM)의 활용이 점차 탐색되고 있으나, 환자의 근거가 변화함에 따라 모델이 판단을 적절하게 수정하는지는 여전히 불분명하다. 본 연구에서는 전자의무기록의 매칭된 중환자 치료 궤적을 활용하여 종단적 신념 업데이트(longitudinal belief updating)를 평가했다. 다양한 LLM 전반에서, 추정치가 변경될 때 이전 판단을 조건부로 반영하는 것은 예측 오차를 줄이기보다 오히려 증가시키는 경우가 더 많았으며, 이는 두 번째 종단점에서도 재현되었다. 통제된 개입 실험을 통해 두 가지 실패 모드가 밝혀졌다. 첫째, 이전 평가가 고정되었을 때 모델은 매칭된 호흡 개선 근거보다 악화 근거에 더 강하게 반응했으며, 이러한 비대칭성은 중간 및 강한 근거 수준에서 헤드룸 정규화(headroom normalization)를 거친 후에도 지속되었다. 둘째, 현재 근거가 고정되었을 때 사전 위험도를 10%에서 90%로 증가시키면 추정치가 26.2%포인트 이동하여 이전 모델 신념의 인과적 영향을 입증했다. 프롬프팅은 신뢰할 수 있는 업데이트를 복원하지 못했다. 근거 검증 종단적 업데이트(Evidence-Validated Longitudinal Update, EVLU)는 더 적지만 보다 신뢰할 수 있는 수정을 식별하여 신뢰성과 커버리지 간의 절충 관계(trade-off)를 드러냈다. 이러한 발견은 종단적 신념 업데이트가 LLM 신뢰성의 뚜렷한 한 차원임을 확립한다.

arXiv:2610.03639v1cs.AI공통 태그 Benchmarking, Hallucination, Large Language Model

대규모 언어 모델은 콜롬비아 법률을 알고 있는가? 콜롬비아 법률 체계를 위한 신뢰성 벤치마크

Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System

대규모 언어 모델(LLM)은 법률 실무, 교육, 연구를 지원하는 데 점점 더 많이 활용되고 있지만, 미국 이외의 국가 법률 체계에서 이들의 신뢰성은 대부분 문서화되지 않은 상태로 남아 있습니다. 본 연구에서는 콜롬비아 법률 체계에 대한 LLM 신뢰성을 평가하기 위한 전문가 검증 벤치마크를 소개합니다. 이 벤치마크는 다단계 전문가 검토를 거친 인간 참여형(human-in-the-loop) 파이프라인을 통해 구축되었으며, 10개 법률 분야와 3가지 질문 형식(폐쇄형 객관식, 반개방형, 개방형 IRAC)에 걸친 1,042개 문항으로 구성됩니다. 우리는 형식에 적합한 지표를 사용하여 15개의 최신 상용 및 공개 가중치(open-weight) 모델을 평가합니다. 폐쇄형 질문의 정확도는 0.905(Gemini 3.1 Pro)부터 0.577까지 큰 폭의 차이를 보였으나, 자유 서술형 법률 답변의 경우 모든 모델에서 사실적 정확성이 0.45(0-1 척도 기준)를 넘지 못했습니다. 우리는 답변 관련성과 정확성 사이의 괴리(Spearman rho = -0.46)를 발견했습니다. 즉, 모델들은 질문에 부합하게 그럴듯하게 응답하면서도 실제로는 틀리는 경우가 잦았으며, 이는 특히 비전문가 사용자에게 우려되는 패턴입니다. 폐쇄형 질문 정확도와 자유 서술형 정확도는 순위 상관관계가 매우 높아(rho = 0.94), 비용이 적게 드는 객관식 스크리닝으로 모델 순위를 예측할 수는 있지만 절대적인 신뢰성은 과대평가되는 것으로 나타났습니다. 루브릭 기반의 독립적인 LLM 판정관과 블라인드 인간 전문가 점수 산정 모두 자유 서술형 순위를 재현했습니다(rho >= 0.88). 판정관 분석 결과, 모델이 인용한 법규범 중 약 절반만이 정확했으며 나머지는 부정확하거나 존재하지 않는 것으로 추가 확인되었습니다. 신뢰성은 법률 분야에 따라 체계적으로 차이를 보였으며 질문 복잡도에 따라 역U자형(inverted-U) 추세를 따랐습니다. 본 연구 결과는 현재의 LLM이 콜롬비아 법률 업무에 활용되려면 전문가의 감독이 필요하며, 권위 있는 출처에 답변을 그라운딩(grounding)하는 것이 신뢰성을 높이기 위한 유망한 방안임을 보여줍니다. 재현 가능한 평가를 지원하기 위해 벤치마크 구축 파이프라인을 공개합니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.