자연어 설명에서 판단 품질 측정: 예측 토너먼트의 증거
Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments
LLM이 점수를 매기는 60개의 이론 기반 추론 패턴인 설명 품질 마커(EQM)를 도입해, 예측 토너먼트의 55,000개 이상 예측-근거 쌍에서 EQM 복합 점수가 기존 텍스트 분석 방법과 인간 평가보다 예측 정확도를 더 잘 예측함을 보였다. EQM은 우수한 예측자를 가려내는 것보다 저조한 예측자를 식별하는 데 더 신뢰성이 높으며, 독립 데이터셋에도 전이됨을 확인해 서면 설명에서 판단 품질을 대규모로 측정하는 확장 가능한 방법을 제공한다.