arXiv:2610.15912v1 cs.CL

더 많은 추론이 항상 더 나은 것은 아니다: LLM과 규칙을 활용한 임상 가이드라인 실행

More Reasoning Is Not Always Better: Executing Clinical Guidelines with LLMs and Rules

Xiaoqian Lu, Guangfu Guo, Long Cheng, Kunpeng Liu

제출 2026-10-11

한국어 초록

대규모 언어 모델(LLM)은 임상 의사결정 지원에서 상당한 가능성을 보여주었다. 그러나 기존 접근법은 임상 가이드라인을 실행하기 위해 다단계 추론이나 다중 에이전트 협업에 의존하는 경우가 많아, 결정 오류를 안정적으로 방지하지 못하면서 상당한 계산 오버헤드를 초래한다. 이러한 한계를 해결하기 위해, 우리는 구조화된 환자 상태와 결정론적 규칙 실행을 통합하여 가이드라인 기반 치료 계획 수립을 지원하는 프레임워크인 Medical Decision Execution(MedDEx)을 제안한다. MedDEx는 임상 기록 해석과 가이드라인 실행을 분리하여, LLM을 활용해 환자 정보를 추출하고 치료 계획을 생성하는 한편, 가이드라인에서 정의된 결정 로직은 규칙 실행기(rule executor)에 할당한다. 여러 임상 가이드라인 벤치마크에 걸친 실험 결과, MedDEx는 추론 비용을 줄이면서도 결정 정확도를 향상시키는 것으로 나타났다. 추가 분석은 구조화된 환자 표현과 결정론적 규칙 실행의 핵심적인 역할을 부각시키며, 이는 LLM의 추가적인 추론이 반드시 더 나은 가이드라인 준수로 이어지지는 않음을 시사한다.

원문 초록

Large language models (LLMs) have shown considerable promise in clinical decision support. However, existing approaches often rely on multi-step reasoning or multi-agent collaboration to execute clinical guidelines, introducing substantial computational overhead without reliably preventing decision errors. To address these limitations, we propose a framework for Medical Decision Execution (MedDEx) that integrates structured patient states with deterministic rule execution to support guideline-based treatment planning. MedDEx separates clinical record interpretation from guideline execution, leveraging LLMs to extract patient information and generate treatment plans while assigning guideline-defined decision logic to a rule executor. Experiments across multiple clinical guideline benchmarks demonstrate that MedDEx improves decision accuracy while reducing inference costs. Further analyses highlight the critical roles of structured patient representations and deterministic rule execution, suggesting that additional LLM reasoning does not necessarily translate into better guideline adherence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15912v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22574v1cs.AI공통 태그 Decision Making, clinical decision support

증거는 너무 많고, 시간은 너무 적다: 다목적 증거 추론을 통한 텍스트에서 실행 가능한 권고안으로

Too much evidence, too little time: From text to actionable recommendations through multi-objective evidence reasoning

증거 기반 임상 의사결정은 전문가가 관련 과학 문헌을 식별·평가·종합하는 것을 요구한다. 그러나 복잡한 임상 사례에 대한 PubMed 검색은 종종 수백 편의 논문을 반환하며, 시간 제약 하에서는 이를 수동으로 검토할 수 없다. 본 연구는 임상 사례 설명을 증거 기반 권고안으로 변환하는 프레임워크인 SCEPTER(Single-Case Evidence-driven PubMed-To-rEcommendation Reasoner)를 제안한다. SCEPTER는 PubMed 검색, PubMedBERT 의미론적 순위화, 대규모 언어 모델(LLM) 기반 주장(claim) 추출, 증거 수준 가중치, 모순 탐지, 합의 분석, 다목적 Pareto 주장 선택을 결합한다. 이 프레임워크는 구조화된 증거 종합과 그라운딩된 실행 가능한 권고안을 생성한다. Paper Q&A 모듈은 선택된 출판물에 대한 대화형 탐험(exploration)을 추가로 가능하게 한다. 제안된 프레임워크는 문헌 지원, 모순 분석, 대화형 문헌 질의를 통합 임상 의사지원 파이프라인으로 통합하는 다목적 추론 모델을 도입한다. 150건의 사례 연구에 대한 평가에서, 이 프레임워크는 평균 576편의 검색 공간을 53편의 유지 논문, 7개의 Pareto-최적 주장, 3개의 최종 권고안으로 축소했으며, 이는 전체 압축 비율 192:1에 해당한다. 이러한 축소에도 불구하고, 유지된 증거는 높은 다양성(entropy=0.901)을 유지했다. Ablation study는 Pareto 기반 선택이 기존 순위화 접근법에 비해 증거 다양성과 권고안 유용성을 높였음을 보였다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

arXiv:2607.20827v2cs.AI공통 태그 Decision Making

LLM 에이전트 행동 선택에서 출처 민감도 감사

Auditing Provenance Sensitivity in LLM Agent Action Selection

LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.