LLM 기반 인간 행동 시뮬레이션에서의 신뢰성 이해
Understanding Reliability in LLM-based Human Behavior Simulation
대규모 언어 모델(LLM)은 인간의 설문 응답과 행동 반응을 시뮬레이션하는 데 점점 더 많이 사용되지만, 신뢰할 수 없는 시뮬레이션은 사회과학적 결론을 오도할 수 있다. 그러나 기존 평가는 end-to-end 점수에 초점을 맞추어, 시뮬레이션 과정의 서로 다른 측면들이 상호작용하여 신뢰성을 어떻게 결정하는지는 불분명하게 남아 있다. 우리는 LLM 기반 인간 행동 시뮬레이션을 세 개의 구조화된 층으로 분해하고, 모델 용량, 프로필 완전성, 인구 커버리지의 세 가지 구성 차원에 걸쳐 개별 수준(R1)과 집단 수준(R2) 모두에서 신뢰성을 평가하는 ReliMap을 제안한다. 네 가지 시뮬레이션 과제와 11개 LLM에 걸친 실험을 통해, 프로필 조건화(profile conditioning) 없이는 모든 모델이 상당한 분포 바이어스를 보인다는 것을 발견한다. 프로필 조건화는 수확 체감과 함께 이 바이어스를 줄인다. 더 큰 모델이 더 많은 이득을 얻으며, 속성의 정보량은 양보다 더 중요하다. 중요하게도, R1의 이득은 R2로 신뢰하게 전이되지 않으며—개별 수준과 집단 수준의 신뢰성은 반대 방향으로 움직일 수 있다. 집단 층에서, 커버리지를 늘리면 분산은 줄이지만 체계적 바이어스는 줄이지 않으며, R2는 약 50–100명의 개인에서 안정화된다. 이러한 발견은 신뢰할 수 있는 시뮬레이션이 단일 층을 고립하여 최적화하는 것만으로는 달성할 수 없으며, 세 층 모두에 걸친 조율된 개선이 필요함을 강조한다.