과학 AI에서 LLM의 추론 평가를 위한 온톨로지 기반 추론기 검증 벤치마크
Ontology-Grounded, Reasoner-Verified Benchmarks for Evaluating LLM Reasoning in Scientific AI
대규모 언어 모델(LLM)은 생의학 질의응답부터 재료 정보학에 이르기까지 구조화된 지식을 바탕으로 추론하는 과학 AI 응용 분야의 기반으로 점차 자리 잡고 있습니다. 그러나 이들의 논리적 추론은 종종 기대에 미치지 못하여, 해당 분야에서 용납될 수 없는 사실적 부정확성을 초래합니다. 신뢰할 수 있는 평가는 여전히 어려운 과제입니다. 수작업 데이터셋 구축은 확장이 어렵고, LLM 기반 생성은 측정하고자 하는 바로 그 결함을 내재시킬 위험이 있습니다. 고품질 벤치마크는 정답과 오답으로 레이블링된 예시 모두를 명시적인 배경지식에 그라운딩(grounding)해야 하며, 표준 추론기(reasoner)를 통해 정식으로 검증할 수 있어야 합니다. 본 연구에서는 충분히 공리화된 OWL 2 온톨로지로부터 온톨로지 기반 다지선다형 질문(MCQ) 벤치마크를 자동 생성하며, 설계상 정답이 온톨로지에 그라운딩되는 파이프라인을 제안합니다. 오답 선택지(distractor)는 클래스 정의 공리의 우변 클래스 표현식을 변형하여 생성되며, 이들의 오류 여부는 함의 검사를 통해 OWL 추론기로 정식 검증됩니다. 저자들은 세 가지 온톨로지, 즉 Pizza(소규모, 학술용), PMDco(복합형, 재료과학), DOID(대규모, 생의학)에서 파이프라인을 평가하여 각각 112개, 2,491개, 15,216개의 MCQ를 생성했습니다. 오답 선택지는 클래스 불만족성부터 약화된 함의에 이르기까지 4가지 의미적 범주를 포괄하여 특정 추론 실패에 대한 진단적 평가를 가능하게 합니다. 문항들은 자연어 품질 표준을 충족합니다. 5점 만점에 평균 4.02, 4.36, 3.36점의 LLM 판별 점수로 유창성을 확인하였으며, 정답과 오답 선택지 간 0.8 이상의 유사도는 표면적 형태만으로는 오답을 배제할 수 없음을 보여줍니다. 제로샷(zero-shot)으로 평가된 6개 LLM은 41.1~76.8%의 정확도를 기록하여 무작위 추측 기준선인 25%를 크게 웃돌았으며, 이는 본 벤치마크가 도전적이고 변별력이 있음을 나타냅니다. 본 연구는 과학 AI에서 논리적 추론을 평가하기 위한 보다 신뢰할 수 있는 벤치마크로 나아가는 한 걸음입니다.