arXiv:2606.05003v2 cs.HC

PhysDox: 생리 신호 센싱 프로토콜의 물리적 실현 가능성 감사에 대한 LLM 벤치마킹

PhysDox: Benchmarking LLMs on Physical Feasibility Auditing of Physiological Sensing Protocols

He Liu, Boyuan Gu, Shuaiqi Cheng, Haiyang Sun, Siyu You, Xuming Hu

제출 2026-11-16

한국어 초록

거대 언어 모델(LLM)은 실험 설계를 점점 더 많이 지원하지만, 유창한 프로토콜이 물리적으로는 실현 불가능한 경우가 많다. 본 논문은 여섯 개의 센싱 도메인에 걸쳐 전문가가 선별한 683개 샘플의 Gold 세트와 5,000개 샘플의 Silver 세트로 구성된 생체의학 프로토콜용 물리적 실현 가능성 감사 벤치마크 PhysDox를 소개한다. 과제를 두 단계 평가로 정식화하는데, 프로토콜을 유효, 경미, 치명적으로 분류하는 심각도 탐지 이후 치명적 위반에 대한 제약 수준 진단을 수행한다. 4가지 추론 전략에 걸쳐 6개 LLM을 평가한 결과 1단계 매크로 F1의 최고치는 53.0에 그친다. 또한 강력한 오라클 진단도 상관된 연쇄 오류로 인해 종단 간 평가에서는 무너진다. 오류 분석은 모델이 절차적 완결성을 물리적 타당성과 혼동하는 스캐폴드 편향을 드러낸다. 그 결과 암묵적 제약은 명시적 하드웨어 위반보다 누락률이 2배 높으며, 이는 $\rho{=}0.81$, $p{<}0.01$의 강한 통계적 상관으로 뒷받침된다. 거짓 음성에 대한 추적 분석은 주의 실패와 판단 실패가 54%-46%로 나뉨을 보여 주며, 결국 프로토콜 감사에는 사실 회상이나 더 긴 근거 서술이 아니라 보정된 실현 가능성 추론이 필요함을 입증한다.

원문 초록

Large language models (LLMs) increasingly assist in experimental design, yet fluent protocols often remain physically infeasible. We introduce PhysDox, a physical feasibility auditing benchmark for biomedical protocols comprising a 683-sample expert-curated Gold set and a 5,000-sample Silver set across six sensing domains. We formulate the task as a two-stage evaluation: severity detection classifying protocols as valid, minor, or fatal, followed by the constraint-level diagnosis of fatal violations. Evaluating 6 LLMs across 4 inference strategies yields a peak Stage-1 macro-F1 of only 53.0. Moreover, strong oracle diagnosis collapses during end-to-end evaluation due to correlated cascade errors. Error analysis reveals scaffold bias, where models conflate procedural completeness with physical validity. Consequently, implicit constraints exhibit a 2 times higher miss rate than explicit hardware violations, supported by strong statistical correlation at $\rho{=}0.81$ and $p{<}0.01$. Trace analysis of false negatives exposes a 54%--46% split between attention and judgment failures, ultimately demonstrating that protocol auditing demands calibrated feasibility reasoning rather than factual recall or longer rationales.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.05003v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.