MedJudgeRAG: 의학 객관식 질의응답을 위한 동적 지식 그래프 기반 선택지별 증거 판단
MedJudgeRAG: Option-Wise Evidence Judgment with Dynamic Knowledge Graphs for Medical MCQA
한국어 초록
의학 객관식 질의응답(MCQA)에서 검색-증강 생성(RAG)은 언어 모델(LM)의 도메인 지식을 보완할 수 있습니다. 그러나 바닐라(vanilla) RAG는 검색된 문서를 무차별적으로 활용하기 때문에 언어 모델의 성능을 저하시킬 수 있습니다. 이를 해결하기 위해 우리는 MedJudgeRAG를 제안합니다. 제안하는 프레임워크는 검색된 문서를 개체(entity)와 관계(relation)로 구성된 동적 지식 그래프(KG)로 표현합니다. 각 선택지에 대해 모델은 검색된 문서와 지식 그래프로부터 증거 판정을 내립니다. 이러한 판정 조합을 바탕으로 모델은 최종 답안을 추론하기 위한 지식 활용 전략을 결정합니다. 이러한 능력은 교사(teacher) 언어 모델이 생성한 구조화된 추론 궤적(reasoning traces)을 사용하는 지도 미세조정(supervised fine-tuning)을 통해 학습(training)됩니다. 학습에는 지식 그래프와 추론 세그먼트에 차등 가중치를 부여하는 가중 교차 엔트로피 손실(weighted cross-entropy loss)이 적용됩니다. 두 가지 의학 MCQA 벤치마크에 대한 실험은 MedJudgeRAG가 바닐라 RAG 및 매개변수 기반 베이스라인(parametric baselines) 모두를 일관되게 능가함을 보여줍니다. 나아가 소거 연구(ablation analysis)를 통해 동적 지식 그래프가 추론(inference) 시 명시적인 출력으로 사용되는 것보다 학습 시 그래프 조건부 감독(graph-conditioned supervision)으로 사용될 때 더 효과적임을 밝힙니다. 우리의 코드는 https://github.com/hyu-amllab/medjudgerag 에서 제공되며, 생성된 추론 궤적은 https://huggingface.co/datasets/youarethewon/medjudgerag 에 공개되어 있습니다.
원문 초록
In medical multiple-choice question answering (MCQA), Retrieval-Augmented Generation (RAG) can supplement the domain knowledge of language models (LMs). However, since vanilla RAG indiscriminately utilizes retrieved documents, it can degrade LM performance. To address this, we propose MedJudgeRAG. Our framework represents retrieved documents as a dynamic knowledge graph (KG) composed of entities and relations. For each option, the model judges an evidence verdict from the retrieved documents and the KG. Based on the verdict combination, the model determines a knowledge utilization strategy to reason toward the final answer. These capabilities are trained via supervised fine-tuning using structured reasoning traces generated by a teacher LM. The training employs a weighted cross-entropy loss that differentially weights the KG and reasoning segments. Experiments on two medical MCQA benchmarks demonstrate that MedJudgeRAG consistently outperforms both vanilla RAG and parametric baselines. Furthermore, ablation analysis reveals that the dynamic KG is more effective as graph-conditioned supervision at training time than as an explicit output at inference time. Our code is available at https://github.com/hyu-amllab/medjudgerag, and the generated reasoning traces are released at https://huggingface.co/datasets/youarethewon/medjudgerag.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.24838v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.