대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.
우리는 대규모 언어 모델(LLM)을 활용하여 인구통계학적으로 제어 가능한 설문 시뮬레이션을 수행하는 인터랙티브 시스템인 Anamnesis를 제시한다. 오픈소스로 공개되며 비전문 사용자 및 연구자를 위해 설계된 Anamnesis는 실제 인간 피험자 대신 가상 집단을 대상으로 설문 도구의 프로토타이핑 및 스트레스 테스트를 가능하게 한다. 이 플랫폼은 최근 제안된 Anthology 및 Alterity 프레임워크를 통합 웹 인터페이스 내에서 구현하며, 구조화된 서사 배경 이야기를 활용하여 모델 응답을 조건화한다. 자유 형식 생성, 확률적 인구통계 재샘플링, 그리고 멀티모달(이미지 및 오디오) 설문을 지원한다. 시스템 평가는 두 가지 사례 연구를 통해 수행되었다: (1) Pew Research Center의 American Trends Panel(ATP)에서 정치적 유형론 및 생의학 이슈 관련 항목 재현, (2) New Yorker Caption Contest에서의 인간 선호도 에뮬레이션. 두 경우 모두에서 Anamnesis는 표준 페르소나 프롬프트 베이스라인보다 실제 설문 데이터에 더 근접한 의견 분포를 생성하며, 독점 시뮬레이션 서비스에 대한 투명하고 재현 가능한 오픈소스 대안을 제시한다.
실리콘 샘플링(silicon sampling)—대규모 언어 모델(LLM)을 활용하여 인간 설문 응답자를 시뮬레이션하는 방법—은 전통적인 설문 연구를 보강하는 유망한 접근법으로 부상했다. 그러나 대부분의 평가는 개인 수준 예측이 아닌 분포적 비교에 의존하며, 이는 패턴 매칭과 일관된 응답자 수준 예측을 혼동할 위험이 있다. 우리는 더 엄밀한 평가 프레임워크인 교차-설문 전이(cross-survey transfer)를 제안한다. 이 방법에서 LLM은 응답자의 특정 문항 답변을 제공받아 동일한 설문 내 완전히 다른 문항들의 답변을 예측해야 한다. 대만 선거 및 민주화 연구(TEDS) 2024 데이터, 세 가지 오픈 가중치 LLM(27B~120B 파라미터), 그리고 지도학습 머신러닝 기준선을 활용한 실험을 통해 다음을 발견했다: (1) 제로샷 LLM은 완전히 미관측된 문항에서 52%의 정확도를 달성하며, 동일 모집단 데이터로 학습된 지도학습 랜덤 포레스트(random forest)와의 격차를 6 퍼센트포인트(pp) 이내로 좁혔다; (2) 당파적 태도 67%에서 주권 문제 23%에 이르는 안정적인 구성 개념 예측 가능성 위계가 나타났다; (3) 자주 지적되는 LLM의 두 한계인 분산 붕괴(variance collapse)와 안전성 정렬(safety alignment) 효과는 기존 보고보다 더 복잡한 양상을 보였는데, 분산 붕괴는 지도학습 모델에도 영향을 미쳤으며 정렬 효과는 모델 계열에 따라 크게 달랐다. 이러한 결과는 실리콘 샘플링의 가능성과 한계를 명확히 밝힌다.
대규모 언어 모델(LLM)은 사회적 설문 응답을 시뮬레이션하는 데 점점 더 많이 활용되고 있지만, 그 출력은 체계적인 편향을 보인다: 주변 분포(marginal distribution)가 왜곡되어 있고, 응답 분산이 제대로 보정되지 않으며, 예측변수-결과 간의 관계가 약화된다. 우리는 단순한 질문을 제기한다: 소규모 파일럿 인간 응답 샘플이 주어졌을 때, LLM이 더 넓은 모집단의 통계적 특성을 복원할 수 있는가? 우리는 복원을 세 가지 축, 즉 구조적 충실도(structural fidelity), 주변 충실도(marginal fidelity), 개별 충실도(individual fidelity)로 분해한다. COVID-19 허위 정보 설문을 사례 연구로 활용하여, 프롬프팅, 교정(rectification), 미세조정의 세 가지 접근 방식 계열을 벤치마크한다. 연구 결과는 소규모 파일럿 샘플에 대한 미세조정이 다양한 형태의 충실도를 달성하기 위한 균형 잡힌 접근 방식을 제공하지만, 이러한 충실도의 수준은 하위 샘플에 따라 달라질 수 있어 다원적 정렬(pluralistic alignment)을 잠재적으로 위협할 수 있음을 시사한다.