대규모 언어 모델의 추론 품질 측정: 다차원 행동 기반 프레임워크
Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework
대규모 언어 모델(LLM)의 추론 품질을 최종 답변 정확도 하나로만 평가하는 한계를 극복하고자, 인지과학에 기반한 정확성(CQ), 일관성(CS), 강건성(RS), 국소 논리적 일관성(LS), 효율성(ES), 안정성(SS) 등 6가지 차원의 통합 행동 평가 프레임워크를 제안한다. 7개 LLM과 4개 벤치마크 실험에서 단일 지표 평가로는 드러나지 않는 배포 맥락별 모델 순위 역전 현상과 차원 간 독립성을 실증적으로 확인하였다.