교통 모델링을 위한 대표 에이전트 기반 LLM 유도 강화학습
LLM-Guided Reinforcement Learning with Representative Agents for Traffic Modeling
에이전트(agent) 기반 교통 모델에서 사익을 추구하는 여행자의 행동 대리자로서 대규모 언어 모델(LLM)이 점점 더 널리 활용되고 있습니다. 기존 모델보다 더 유연하고 일반화 능력이 뛰어남에도 불구하고, 모든 여행자마다 LLM을 호출하는 비용으로 인한 확장성 문제 때문에 이러한 접근 방식의 실제 적용은 여전히 제한적입니다. 더욱이 LLM 에이전트는 불투명한 결정을 내리고 일별 동역학(day-to-day dynamics)을 불안정하게 만드는 경우가 많다는 점이 밝혀졌습니다. 이러한 문제를 해결하기 위해, 우리는 동일한 의사결정 맥락에 직면한 각 동질적 여행자 집단을 집단의 총 통행 흐름 비율과 일치하는 경로 혼합 전략을 유지하고 업데이트하는 단일 대표 LLM 에이전트로 모델링할 것을 제안합니다. 이 에이전트는 모집단의 평균처럼 행동합니다. 매일 LLM은 통행 경험을 검토하고 더 자주 이용하기를 희망하는 경로에 긍정적 강화 신호를 표시하며, 해석 가능한 업데이트 규칙은 조정 가능한(점진적으로 감소하는) 스텝 크기를 사용하여 이러한 판단을 전략 조정으로 변환합니다. 대표 에이전트 설계는 확장성을 향상시키는 한편, 추론과 업데이트의 분리는 학습을 안정화하면서 의사결정 논리를 명확하게 합니다. 전형적인 통행 배분 환경에서 제안된 접근 방식이 사용자 평형(user equilibrium)으로 빠르게 수렴함을 확인했습니다. 소득 이질성, 다기준 비용, 복합 교통수단 선택이 존재하는 더 풍부한 환경에서도 생성된 동역학은 안정적이고 해석 가능하게 유지되며, 심리학 및 경제학에서 잘 입증된 타당한 행동 패턴을 재현합니다. 예를 들어 유료 도로와 무료 도로 선택 시의 미끼 효과(decoy effect), 그리고 자가용, 대중교통, 환승 주차(park-and-ride) 옵션 중에서 선택할 때 고소득 여행자가 편의성에 대해 더 높은 지불 용의(willingness-to-pay)를 보이는 현상 등이 이에 해당합니다.