arXiv:2602.06268v2 cs.CL

MPIB: LLM의 의료 프롬프트 인젝션 공격 및 임상 안전성 벤치마크

MPIB: A Benchmark for Medical Prompt Injection Attacks and Clinical Safety in LLMs

Junhyeok Lee, Han Jang, Kyu Sung Choi

제출 2026-02-06

한국어 초록

대규모 언어 모델(LLM)과 검색-증강 생성(RAG) 시스템이 임상 워크플로에 점점 더 통합되고 있다. 그러나 프롬프트 인젝션 공격은 이러한 시스템을 임상적으로 안전하지 않거나 오해를 부르는 출력으로 유도할 수 있다. 우리는 임상적으로 근거 있는 과업 전반에서 직접 프롬프트 인젝션과 간접적·RAG 매개 인젝션 모두 아래의 임상 안전성을 평가하기 위한 데이터셋 및 벤치마크 모음인 Medical Prompt Injection Benchmark(MPIB)를 제안한다. MPIB는 임상적으로 근거 있는 분류체계 하에서 고심각도 임상 유해 사건을 측정하는 Clinical Harm Event Rate(CHER)를 통해 결과 수준의 위험을 강조하며, 중등도 이상과 고심각도 결과를 구분하기 위해 ASR$_2$와 함께 CHER를 보고한다. 이 벤치마크는 다단계 품질 게이트와 임상 안전성 린팅을 거쳐 구성된 9,697개의 선별 인스턴스로 이루어진다. 다양한 기준선 LLM 및 방어 설정에 걸쳐 MPIB를 평가한 결과, ASR$_2$와 CHER$_3$가 상당히 달라질 수 있으며, 관찰된 비율은 적대적 지시가 사용자 쿼리에 나타나는지 검색된 컨텍스트에 나타나는지에 따라 달라짐을 확인했다. MPIB 데이터셋과 평가 코드는 각각 Hugging Face와 GitHub에서 이용할 수 있다.

원문 초록

Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) systems are increasingly integrated into clinical workflows. However, prompt injection attacks can steer these systems toward clinically unsafe or misleading outputs. We introduce the Medical Prompt Injection Benchmark (MPIB), a dataset-and-benchmark suite for evaluating clinical safety under both direct prompt injection and indirect, RAG-mediated injection across clinically grounded tasks. MPIB emphasizes outcome-level risk via the Clinical Harm Event Rate (CHER), which measures high-severity clinical harm events under a clinically grounded taxonomy, and reports CHER alongside ASR$_2$ to distinguish moderate-or-worse from high-severity outcomes. The benchmark comprises 9,697 curated instances constructed through multi-stage quality gates and clinical safety linting. Evaluating MPIB across a diverse set of baseline LLMs and defense configurations, we find that ASR$_2$ and CHER$_3$ can diverge substantially, and that observed rates vary depending on whether adversarial instructions appear in the user query or in retrieved context. The MPIB dataset and evaluation code are available on Hugging Face and GitHub, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.06268v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.