진실인가 궤변인가? LoFa: 논리적 오류에 대한 LLM 강건성 벤치마크
Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies
대규모 언어 모델(LLM)이 논리적 오류(logical fallacy)를 포함한 설득적 공격에 얼마나 취약한지를 체계적으로 평가하기 위해, 멀티 에이전트 파이프라인으로 구축된 종합 벤치마크 LoFa와 다중 라운드 토론 프레임워크를 소개한다. 검증 가능한 사실 기반 질문에 오류 논거를 쌍으로 구성하고 LFR@k 지표를 제안하여 실험한 결과, LLM은 특히 Distraction/Distortion 유형의 오류에 높은 취약성을 보임이 드러났다.