그라운딩·충실·일관·실행 가능 근거를 갖춘 책임 있는 AI: VERDICT를 활용한 임상시험 매칭 사례 연구
Accountable AI with Grounded, Faithful, Consistent, Actionable Rationales: A Case Study in Clinical Trial Matching with VERDICT
한국어 초록
책임성(accountability)이란 결정을 검토하고, 정당화하고, 이의를 제기할 수 있음을 뜻한다. 대규모 언어 모델(LLM)은 이를 어렵게 만든다. 유창한 출력이 그라운딩(grounding)되지 않았거나 불�complete하거나, 결정 과정에 충실하지 않을 수 있기 때문이다. 책임성을 달성하려면 검증된 근거(결정에 어떻게 이르렀는지), 가정(알려진 것이 아니라 무엇을 가정했는지), 정책 일관성(동일한 사실에 동일한 처리), 핵심 조건(무엇이 결과를 바꿀지)이 필요하다. 우리는 자기 충실성(self-faithfulness)을 책임성의 자동 검증으로 제안한다. 핵심 조건을 바꾸면 결정도 바뀌어야 한다. 우리는 근거 기반 의학의 핵심이자 고위험 과제인 임상시험 매칭을 통해 책임 있는 AI를 살펴본다. LLM 기반 매칭기는 환자를 임상시험에 상당히 정확하게 연결하지만, 결정 정책을 일관되게 적용하지 않고 자신의 결정에 충실하지 않은 근거를 생성한다. 우리는 VERDICT를 제안한다. VERDICT는 LLM 기반 에이전트로, 결정 과제·제약·정책을 만족 가능 이론(Satisfiability Modulo Theories, SMT)으로 변환한 뒤 SMT 및 MaxSMT 솔버로 결정을 도출하여, 정책이 일관되게 적용되고 결정이 구조적으로 책임 가능하게 된다. SIGIR 2016에서 파생된 데이터셋과 TREC 2021에서 VERDICT는 LLM 단독 및 신경-기호(neurosymbolic) 베이스라인 중 최고의 결정 정확도를 달성하고, 정책을 완벽한 일관성으로 적용하며, 명시적 가정과 핵심 조건에 그라운딩된 임상의가 선호하는 근거를 생성하고, 반사실적(counterfactual) 자기 충실성을 개선한다.
원문 초록
Accountability means a decision can be examined, justified, and contested. LLMs make this hard: fluent output may be ungrounded, incomplete, or unfaithful to the decision process. Achieving accountability requires verified rationales (how was the decision reached), assumptions (what was assumed rather than known), policy consistency (the same treatment for the same facts), and pivotal conditions (what would change the outcome). We introduce self-faithfulness as an automatic test of accountability: changing the pivotal conditions should change the decision. We examine accountable AI through clinical trial matching, a high-stakes task central to evidence-based medicine. Although LLM-based matchers match patients to trials reasonably accurately, they apply decision policies inconsistently and produce rationales that are unfaithful to their own decisions. We introduce VERDICT, an LLM-based agent that translates a decision task, its constraints, and its policy into Satisfiability Modulo Theories (SMT), then derives the decision with SMT and MaxSMT solvers -- so policies are applied consistently and decisions are accountable by construction. Across a SIGIR 2016-derived dataset and TREC 2021, VERDICT achieves the strongest decision accuracy among LLM-only and neurosymbolic baselines, applies policies with perfect consistency, and produces clinician-preferred rationales grounded in explicit assumptions and pivotal conditions, with improved counterfactual self-faithfulness.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03366v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.