LLM 네이티브 심리측정 도구로 밝혀낸 25개 모델의 자기보고와 행동 간 괴리
An LLM-Native Psychometric Instrument Reveals a Self-Report--Behavior Gap Across 25 Models
대규모 언어 모델(LLM)의 자기보고 설문 응답은 실제 행동 방식을 예측할 수 있을까요? 선행 연구에서는 그렇지 않다고 보았으나, 이는 인간 성격 검사를 차용한 것이어서 이러한 괴리가 LLM 자기보고 자체보다는 인간용 구성개념을 빌려 쓴 데서 비롯되었을 가능성이 있습니다. 본 연구에서는 상향식(bottom-up)으로 구조를 도출하고 LLM 고유의 행동(예: 과도한 거부, 요청되지 않은 면책 조항)으로 구축된 자기보고 도구를 통해 이를 검증합니다. 17개 개발사의 25개 LLM에 300개 문항을 30회 실시한 결과, 재현 가능하고 신뢰할 수 있는 5개 요인(Tucker $φ\geq .957$, $α\geq .930$)을 도출했습니다. 이후 이러한 자기보고 결과를 151명의 인간 평가자와 LLM 판사 앙상블이 평가한 2,500개의 개방형 행동 샘플과 비교했습니다. 인간과 LLM 판사는 모델 행동에 대해 일치된 평가를 보였으나($\bar{r} = .51$), 자기보고는 인간의 평가($\bar{r} = .09$, 95% CI $[-.07, .18]$)나 평가자 무관 텍스트 측정값을 거의 따라가지 못했으며, 준거 비신뢰도를 보정하더라도 5개 요인 중 4개는 0에 가까웠습니다. 장황성(Verbosity)만이 부분적인 예외였습니다($r = .40$, 신뢰도 상한의 71%). 응답성(Responsiveness)의 경우, 자기보고는 인간보다 LLM 판사를 더 잘 따랐으며($r = .53$ 대 $.18$; Steiger $p = .04$), 길이와 형식을 통제하더라도 이러한 경향은 사라지지 않았습니다. 즉, LLM 판사와 LLM 자기보고 간의 일치는 둘 중 어느 쪽이 인간의 판단을 추적하고 있는지에 대한 증거로는 빈약합니다.