PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.24661v4cs.AI

대규모 언어 모델의 추론 품질 측정: 다차원 행동 기반 프레임워크

Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework

대규모 언어 모델(LLM)의 추론 품질을 최종 답변 정확도 하나로만 평가하는 한계를 극복하고자, 인지과학에 기반한 정확성(CQ), 일관성(CS), 강건성(RS), 국소 논리적 일관성(LS), 효율성(ES), 안정성(SS) 등 6가지 차원의 통합 행동 평가 프레임워크를 제안한다. 7개 LLM과 4개 벤치마크 실험에서 단일 지표 평가로는 드러나지 않는 배포 맥락별 모델 순위 역전 현상과 차원 간 독립성을 실증적으로 확인하였다.