PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15714v1cs.AI

MedHarnessBench: 헬스케어 에이전트(Agent) 평가를 위한 통합 벤치마크

MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation

헬스케어 에이전트(agent)는 이질적인 도구와 상태를 유지하는 워크플로우를 통해 종단적인(longitudinal) 임상 증거를 신뢰할 수 있는 행동으로 변환해야 하며, 이러한 조건에서 모델 중심 시스템은 컨텍스트를 잃거나, 도구를 오용하거나, 중대한 상태 전환을 검증하지 못하거나, 권한 경계를 침범할 수 있다. 기존의 의료 에이전트 벤치마크는 주로 최종 작업 결과(terminal task outcome)를 강조하기 때문에, 실행 실패가 에이전트 모델, 런타임 하네스(harness), 혹은 이들의 상호작용 중 어디에서 발생하는지 판단하기 어렵다. 우리는 결과를 보존하면서 일곱 가지 헬스케어 특화 프로세스 차원—진료 조치 이행(Care Action Fulfillment), 임상 자원 활용 능력(Clinical Resource Competence), 환자-증거 정합성(Patient-Evidence Alignment), 임상 워크플로우 연속성(Clinical Workflow Continuity), 임상 감사 가능성(Clinical Auditability), 폐루프 검증(Closed-Loop Verification), 임상 행위 경계(Clinical Conduct Boundaries)—을 독립적으로 평가하는 프레임워크인 Medical Harness Protocol을 제시한다. 또한 정규화된 개입 추적(normalized intervention trace)은 런타임 지원이 제공 가능한지(available), 활성화되었는지(activated), 전달되었는지(delivered), 에이전트에 의해 채택되었는지(adopted), 그리고 이후 행동에 전파되었는지(propagated)를 추적한다. 우리는 이 프로토콜을 FHIR/EHR 연산, 헬스케어 행정 인터페이스, 멀티모달 임상 도구 전반에 걸친 342개의 실행 가능한 작업으로 구성된 MedHarnessBench로 구체화한다. 16,000회 이상의 통제된 작업 실행에서 MedHarness는 최종 작업 성공률, 중간 하위 작업 완료율, 헬스케어 특화 프로세스 품질 전반에서 폭넓은 개선을 보인다. 또한 우리는 MedHarness를 여러 범용 하네스(harness)와 비교 평가하고, 통제된 단일 결함 교란(single-fault perturbation)을 사용하여 일곱 차원 평가의 민감도와 구분력을 검증한다. 이러한 결과는 헬스케어 특화 런타임 지원이 작업 완료율과 실행 품질을 모두 상당히 개선할 수 있음을 보여주는 동시에, 최종 결과만으로는 포착할 수 없는 실패를 드러낸다. 코드와 자료는 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare 에서 확인할 수 있다.

arXiv:2607.20382v1cs.HC

FMRP-LEAN: 임상 분석 검사 워크플로우 전 구간 최적화를 위한 HIPAA 준수 AI 증강 LIMS 아키텍처

FMRP-LEAN: A HIPAA-Compliant AI-Augmented LIMS Architecture for End-to-End Clinical Assay Workflow Optimization

번역 연구 환경에서의 임상 바이오마커 워크플로우는 종종 스프레드시트 기반 추적, 수동 품질 관리(QC) 조정, 느슨하게 통합된 시스템에 의존하여 상태 가시성이 제한되고, 보고가 지연되며, 운영 위험이 증가하는 결과를 낳는다. 이러한 과제는 Fragile X Messenger Ribonucleoprotein(FMRP)의 Luminex 기반 정량화와 같은 다일(multi-day) 분석 검사에서 특히 두드러지며, HIPAA 준수 데이터 거버넌스, 결정론적 워크플로우 진행, 실험실 및 임상 팀 간의 조율된 커뮤니케이션이 필요하다. 본 논문은 HIPAA 준수 AI 증강 실험실 정보 관리 시스템(LIMS) 아키텍처인 FMRP-LEAN을 제시하며, 명시적 전환 가드(transition guard)와 체류 시간(dwell-time) 관측 가능성을 갖춘 유한 상태 워크플로우 모델을 통해 생체시료(biospecimen) 생애주기 관리를 형식화한다. 이 시스템은 병원 통제 인프라 내에 배포된 자체 호스팅 Supabase/PostgreSQL 스택, 암호화 터널링 및 루프백 전용 서비스를 갖춘 하이브리드 엣지-내부 격리, 양방향 REDCap 동기화를 통합한다. QR 기반 추적을 갖춘 통합 MRN-UUIDv7 식별자 프레임워크는 PHI(보호 건강 정보) 상주(residency) 제약 하에서 추적 가능한 임상-연구 연계를 보장한다. FMRP-LEAN은 자동화된 통계적 QC 사전 스크리닝과 거버넌스 제약 AI 운영 모듈을 포함하며, 이 모듈은 집계 투영(aggregate projection)에만 독점적으로 작동하고 결정론적 폴백 보장을 제공한다. 배포 결과 워크플로우 관측 가능성 향상, QC 지연 감소, 실험실 기술자·연구 코디네이터·환자 대면 팀 간 역할 간 투명성 강화가 입증되었다. 이 아키텍처는 규제 의료 환경에서 안전하고 상태가 명시적이며 AI 증강된 임상 연구 워크플로우를 위한 재현 가능한 모델을 제공한다.

arXiv:2606.31179v1cs.AI

HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents

실제 의료 임상 워크플로우를 재현하는 7개 범주 54개 에이전트 태스크로 구성된 HealthAgentBench 벤치마크를 소개하며, X-ray 보고서 교정, 병리 이미지 분석, EHR 데이터 처리 등 다양한 모달리티를 다중 단계 추론으로 평가한다. 최고 성능 에이전트인 Codex GPT-5.5조차 약 42% 성공률에 그쳐 의료 영상 처리와 복합 추론이 필요한 대규모 탐색 공간 태스크가 현재 프론티어 에이전트의 주요 난관임을 드러낸다.