ForEx: 논리적 오류 탐지 및 주석에서 설명 가능한 추론을 위한 형식 검증 프레임워크
ForEx: A Formal Verification Framework for Explainable Reasoning in Logical Fallacy Detection and Annotation
현재 논리적 오류 탐지에서 대규모 언어 모델(LLM)에 대한 평가는 예측 레이블에 초점을 맞추지만, 모델이 제공하는 추론이 그 레이블을 뒷받침하는지는 확립하지 않는다. 우리는 LLM이 생성한 설명을 Lean4로 번역하고, 원본 자연어 논증의 논리적 타당성이 아니라 인코딩된 전제 하에서 번역된 근거가 도출 가능한지를 검증하는 프레임워크인 ForEx(Formal Verification for Explainable Reasoning, 설명 가능한 추론을 위한 형식 검증)를 제안한다. 예측 결과와 뒷받침 추론의 형식적 상태를 구분하기 위해, 레이블 일치와 형식 검증 상태를 분리하는 LLM Argument Verification Matrix를 도입한다. LOGIC-Climate에 대한 실험 결과, LLM 출력의 90% 이상이 검증을 통과하는 형식적 추론 연쇄로 번역될 수 있는 반면, 인간 주석과의 일치는 약 20%에 머문다. 이러한 결과는 형식적 도출 가능성과 레이블 일치 사이에 체계적인 격차가 있음을 드러내며, 이는 예측 기반 지표로는 드러나지 않는 구분이다. ForEx는 LLM 평가를 레이블 정확성을 넘어 형식화된 추론 연쇄의 기계 검증 가능한 분석으로 확장한다.