대규모 언어 모델(LLM)은 다양한 분야에서 인간 행동을 시뮬레이션하는 데 점점 더 많이 활용되고 있다. 그러나 우리의 입장은 현재 LLM 기반 인간 시뮬레이션이 아직 충분히 신뢰할 수 없다는 것이며, 이는 시뮬레이션 결과와 실제 인간 행동 사이의 상당한 불일치로 입증된다. 본 연구는 사회적·경제적·정책적·심리적 맥락에서 LLM 기반 인간 시뮬레이션에 대한 체계적 문헌 고찰로 시작하여, 공통 프레임워크, 최근의 발전, 그리고 지속되는 한계를 파악한다. 이 고찰을 통해 해당 불일치가 주로 LLM의 고유한 한계와 시뮬레이션 설계상의 결함에서 비롯된다는 사실이 드러나며, 이 두 가지를 상세히 검토한다. 이러한 통찰을 바탕으로, 우리는 신뢰성 향상을 위해 데이터 기반 강화, LLM 역량 향상, 견고한 시뮬레이션 설계 보장을 강조하는 체계적 해결책 프레임워크를 제안한다. 마지막으로, 신뢰할 수 있고 인간과 정렬된 LLM 기반 시뮬레이션을 안내하기 위해 제안된 프레임워크를 구체화한 구조화된 알고리즘을 소개한다. 추가 연구를 촉진하기 위해 관련 문헌 및 자료 목록을 https://github.com/Persdre/awesome-llm-human-simulation 에서 제공한다.
사회과학 및 행동과학 전반의 정량적 연구는 비용이 많이 들고, 속도가 느리며, 표본 바이어스에 취약한 인간 피험자 실험에 의존한다. 본 논문에서는 사전학습된 대규모 언어 모델(LLM)이 제곱 손실 하에서 조건부 기댓값의 위험 동등 추정량을 유도함을 보이며, 제한적 함수적 위험 동등성을 확립한다: 제곱 손실 하에서, LLM은 조건부 평균을 통해서만 데이터에 의존하는 임의의 추론에 대해 조건부 기댓값의 제곱 손실 예측에 대한 베이즈 최적 위험과 일치하는 위험을 가진 추정량을 유도한다. 우리는 LLM을 i.i.d. 데이터로 학습된 잘못 명세된 함수적 추정량 $T(\hat{P}_n)$으로 형식화하고, 추정 오차를 표현 바이어스 $ε_{\mathrm{rep}}$와 최적화 오류로 분해하며, 완화된 정규 조건 하에서 LLM의 기대 오차가 환원 불가능한 모집단 분산과 제곱 표현 바이어스의 합으로 수렴함을 증명한다. 표현 바이어스는 핀스커 부등식에 의해 상계가 주어진다. 식별 가능성 오류 $δ$는 유효 바이어스로 전파되어 점근적 위험 하한을 높인다. 우리는 양방향 르 캄 결핍 분석을 통해 제한적 함수적 위험 동등성을 확립한다: 전방 결핍은 점근적으로 소멸하는 반면 역방향 결핍은 정확히 0이다. 유한 표본 집중 경계와 명시적 의사 결정 규칙을 갖춘 보정 프로토콜을 제공한다. 결과는 정확하고 증명 가능한 진술이다: 잘 보정된 LLM은 명시적 범위 조건에 의해 경계가 주어지는 조건부 평균 의존 추론에 대해 베이즈 최적 위험을 달성한다. 실제 응용에서 이는 조건이 충족되고 모델이 잘 보정된 경우, 대규모 언어 모델이 원래 인간 실험에 의존하던 많은 예측 및 의사 결정 과제에서 낮은 비용으로 거의 최적의 통계적 추론을 근사하며 활용될 수 있음을 의미한다.
사람들은 전략적 상호작용에서 의사결정을 다르게 내립니다. 어떤 사람들은 베이지안처럼 신념을 갱신하고, 다른 사람들은 동기적 추론(motivated reasoning)과 같은 편향을 보입니다. 대규모 언어 모델(LLM) 제작자들은 안전성 평가와 학습을 위해 시뮬레이션된 인간을 사용하지만, 이러한 인간 행동의 다양성을 충분히 포괄하지 못하는 경우가 많습니다. 우리는 인지 과학과 경제학이 인간 의사결정의 수학적 모델을 활용하여 이를 수행하기 위한 편리한 도구를 제공한다고 주장합니다. 우리는 대규모 언어 모델이 인지 모델과 일치하도록 안내하는 Equation-to-Behavior 프롬프팅이라는 접근 방식을 제안하고, 법적 의사결정에 기반한 설득 게임에서 이 접근 방식을 평가합니다. 우리는 대형 모델이 프롬프팅을 통해 베이지안 갱신(Bayesian updating), 아핀 왜곡(affine distortion), 동기적 갱신(motivated updating), Grether의 $α$-$β$ 모델과 같은 수식 기반 명세를 근사화할 수 있지만, 소형 모델은 그렇지 못하다는 것을 발견했습니다. 그러나 수학적 규칙을 준수하도록 강화학습으로 소형 모델을 학습시키는 Equation-to-Behavior RL은 분포 외(out-of-distribution) 파라미터화에서 신념 오차를 26.5% 감소시킵니다. 우리는 이러한 시뮬레이션이 다양한 학습 환경을 생성하는 데 도움이 될 수 있음을 보여줍니다. GPT-5-mini를 설득할 때에도, 다양한 종류의 의사결정자를 고려하도록 소형 모델을 학습시키면 베이지안 전용 학습에 비해 평균 신념 변화가 2.5%--12% 개선됩니다. 우리의 연구는 점점 더 현실적인 설정에서 학습과 평가를 위한 인간 시뮬레이션을 개선할 수 있으며, 더 복잡한 인간 의사결정의 수학적 모델에 대한 새로운 연구를 가능하게 할 수 있습니다.