평균 너머: 소규모 파일럿 데이터로 LLM 기반 설문 시뮬레이터를 정렬하기 위한 3축 충실도
Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data
대규모 언어 모델(LLM)은 사회적 설문 응답을 시뮬레이션하는 데 점점 더 많이 활용되고 있지만, 그 출력은 체계적인 편향을 보인다: 주변 분포(marginal distribution)가 왜곡되어 있고, 응답 분산이 제대로 보정되지 않으며, 예측변수-결과 간의 관계가 약화된다. 우리는 단순한 질문을 제기한다: 소규모 파일럿 인간 응답 샘플이 주어졌을 때, LLM이 더 넓은 모집단의 통계적 특성을 복원할 수 있는가? 우리는 복원을 세 가지 축, 즉 구조적 충실도(structural fidelity), 주변 충실도(marginal fidelity), 개별 충실도(individual fidelity)로 분해한다. COVID-19 허위 정보 설문을 사례 연구로 활용하여, 프롬프팅, 교정(rectification), 미세조정의 세 가지 접근 방식 계열을 벤치마크한다. 연구 결과는 소규모 파일럿 샘플에 대한 미세조정이 다양한 형태의 충실도를 달성하기 위한 균형 잡힌 접근 방식을 제공하지만, 이러한 충실도의 수준은 하위 샘플에 따라 달라질 수 있어 다원적 정렬(pluralistic alignment)을 잠재적으로 위협할 수 있음을 시사한다.