MedGuardBench: 개인 맞춤형 가드레일 개발을 위한 환자 중심 벤치마크
MedGuardBench: A Patient-Oriented Benchmark for Personalized Guardrail Development
한국어 초록
안전은 개인마다 다르다. 같은 행동도 한 사람에게는 안전하고 다른 사람에게는 위험할 수 있다. 그러나 현재 가드레일은 영향을 받는 사람이 누구인지 고려하지 않고 콘텐츠를 판단한다. 약물 안전을 사례로 환자 상태를 반영하는 약물 가드레일 과제를 도입한다. 환자 프로필과 처방을 바탕으로 안전 여부와 위험 범주 17가지를 예측한다. 약물 87종에 걸친 시나리오 5,001개를 포함하며 데이터 분할 간 약물이 겹치지 않는 벤치마크 MedGuardBench를 공개한다. 표준 가드레일은 환자에 관한 사실보다 문구나 프로필의 유무와 같은 표면적 단서에 의존한다는 사실을 확인했다. 이를 해결하기 위해 세 요소로 구성된 개인 맞춤형 추론 가드레일을 개발한다. 개인 맞춤형 추론 증류는 위험을 관련 환자 정보 항목에 연결한다. 문맥 펼치기(Context Unrolling, CU)는 모델이 각 항목을 직접 확인하게 하여 대부분의 백본에서 오경보를 줄인다. 대조 실험에서 확인 결과를 모델에 제공하는 것만으로는 같은 이득을 얻지 못했다. 규칙 기반 보상을 적용한 유도형 GRPO는 일부 백본에서 위험 사례의 재현율과 알레르기 및 이상 반응을 포함한 복합 위험 탐지 성능을 높였지만, 다른 백본에서는 오경보를 늘렸다. 제안 모델은 기본 모델과 조건을 맞춘 프로필 미사용 대조군보다 정확도가 높았으며, 프로필 미사용 대조군보다 오경보도 적었다. 프로필을 제거하거나 바꾸는 실험에서 성능 향상은 미세조정 자체를 넘어 환자 정보 활용에서 비롯됨을 확인했다.
원문 초록
Safety is personal: the same action can be safe for one person but unsafe for another. Yet current guardrails judge content without considering who is affected. Using medication safety, we introduce \textit{patient-conditioned medication guarding}, which predicts a safety verdict and 17 risk categories from a patient profile and prescription. We release \textbf{MedGuardBench}, a drug-disjoint benchmark of 5{,}001 scenarios across 87 medications. We find that standard guardrails rely on surface cues, such as wording and profile presence, rather than patient facts. To address this, we develop \textit{personalized reasoning guardrails} with three components. \textbf{Personalized Reasoning Distillation} links risks to relevant patient fields. \textbf{Context Unrolling (CU)} makes models check each field themselves, reducing false alarms on most backbones; controls show that providing the check does not yield the same benefit. A \textbf{rule-based reward (guided GRPO)} improves unsafe recall and complex-risk detection, including allergies and adverse reactions, on some backbones, but increases false alarms on others. Our models outperform base models and matched no-profile controls in accuracy, while reducing false alarms relative to no-profile controls. Profile removal and swapping confirm that gains come from patient information, not fine-tuning alone.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22069v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.