LLM 검증 재고: 증거 구조, 불확실성, 선택적 정제
Rethinking LLM Verification: Evidence Structure, Uncertainty, and Selective Refinement
한국어 초록
대규모 언어 모델(LLM)은 체계적 추론보다 지름길(shortcut)에 의존하는 경우가 많아 의료 응용에서 안전성(safety) 우려를 낳는다. 모델이 불확실할 때 기권(abstention)하도록 하면 신뢰성은 높아지지만 커버리지–정확도 트레이드오프가 생긴다. 우리는 다지 선다형 설정에서 의료 가설 검증을 위한 2단계 프레임워크를 제안하며, 모델이 기권할 때에만 적용되는 목표 지향적 온톨로지 그라운딩(ontology grounding)으로 이 트레이드오프를 관리한다. 기권은 무작위가 아니라 실질적 불확실성을 반영하며, 기권한 예측은 더 낮은 신뢰도와 연관됨을 보인다. Azure OpenAI API를 통해 접근한 GPT-5.5와 DeepSeek-R1 두 프런티어 모델에서 제안 프레임워크는 문항 수준 정확도를 9.6%p(82.9%에서 92.5%) 향상시키고 가설 수준 정확도를 4.2%p(92.0%에서 96.2%) 향상시킨다. MedReason과 MedQA에서 수행한 실험은 기권을 선택적 추론 정제를 위한 제어 신호로 재활용할 수 있음을 보이며, 명시적 지식 그래프(knowledge graph) 구축 없이 지식 그래프 수준의 성능을 달성한다.
원문 초록
Large language models (LLMs) often rely on shortcuts rather than systematic reasoning, raising safety concerns in medical applications. Allowing models to abstain when uncertain improves reliability but introduces a coverage accuracy tradeoff. We propose a two-stage framework for medical hypothesis verification in multiple-choice settings that manages this tradeoff through targeted ontology grounding, applied only when the model abstains. We show that abstention is not random but reflects genuine uncertainty, with abstained predictions associated with lower confidence. Across two frontier models (GPT-5.5, accessed via the Azure OpenAI API, and DeepSeek-R1), the proposed framework improves question-level accuracy by 9.6 percentage points (82.9% to 92.5%) and hypothesis-level accuracy by 4.2 percentage points (92.0% to 96.2%). Our experiments conducted on MedReason and MedQA show that abstention can be repurposed as a control signal for selective reasoning refinement, achieving knowledge-graph-level performance without explicit knowledge graph construction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.10725v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.