정책 생성 및 예측을 위한 DSGE 시뮬레이터 기반 대규모 언어 모델 그라운딩
Grounding Large Language Models in DSGE Simulators for Policy Generation and Forecasting
대규모 언어 모델(LLM)은 그럴듯하게 들리는 경제 정책 대응을 생성할 수 있지만, 이것이 모델의 조치가 경제적 동역학과 일치함을 보여주지는 않습니다. 우리는 인스트럭션 튜닝(instruction tuning)된 언어 모델을 6개의 Snowdrop 기반 동적 확률적 일반 균형(DSGE) 시뮬레이터 내부에 배치하여 이를 검증합니다. 매 턴마다 모델은 경제 상황과 경제 담론의 변화를 관측하고, 유계된(bounded) 정책 조치를 선택하며, 다음 시뮬레이션 상태와 경제적 보상을 받습니다. 우리는 반복적인 롤아웃, 지속적 충격, 상태 복제, 롤링 호라이즌(rolling-horizon) 시뮬레이션을 위한 공통 Python 인터페이스를 구현합니다. 이러한 설정은 장기적인 신용 할당(credit-assignment) 문제를 야기합니다. 정책 효과는 조치가 취해진 후 여러 분기가 지나서 나타날 수 있습니다. PPO는 일반화된 이점 추정(GAE)을 통해 지연된 보상을 이전 토큰으로 전파할 수 있는 학습된 가치 함수를 가지고 있습니다. 반면 GRPO는 학습된 가치 함수가 없으며, 대신 전체 롤아웃 수익으로부터 그룹 상대적 이점을 할당합니다. 따라서 GRPO는 어떤 이전 턴이 결과를 초래했는지 구별할 수 없으며, 모든 롤아웃이 동일한 수익을 받는 경우 정규화된 이점은 0이 됩니다. 우리는 PPO를 주요 방법으로 사용하고 GRPO를 이에 대응하는 비평가 없는(critic-free) 기준선으로 사용합니다. 또한 실험에서는 방향성 의미 신호, 보상 호라이즌, 궤적 웜 스타트(warm start), 시뮬레이터 간 전이, 그리고 역사적 사실에 기반한 팬데믹 및 통화 정책 충격도 테스트합니다. 본 연구의 목적은 그럴듯한 언어만으로 평가하는 것이 아니라, 시뮬레이션된 경제적 결과를 바탕으로 정책 조치를 평가하는 것입니다.