에이전트형 AI 시스템의 모델 검증: 신뢰 상태, 예측 및 정책 검증을 위한 부분적으로 관측 가능한 마르코프 결정 과정(POMDP) 기반 프레임워크
Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation
에이전트형 인공지능 시스템은 새로운 유형의 모델 리스크를 야기합니다. 전통적인 예측 모델과 달리, 자율 에이전트는 지속적으로 정보를 획득하고, 환경의 잠재 상태에 대한 믿음을 형성하며, 예측을 생성하고, 행동을 선택한 뒤 시간이 지남에 따라 행동을 적응시킵니다. 기존 검증 방법론은 주로 예측 정확도에 초점을 맞추고 있어, 기저에 있는 의사 결정 과정의 품질에 대해서는 제한된 통찰력만을 제공합니다. 본 논문은 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)에 기반한 에이전트형 AI를 위한 모델 검증 프레임워크를 제안합니다. 이 프레임워크는 자율 의사 결정을 정보, 믿음, 예측, 행동 및 효용으로 분해하여 각 구성 요소를 독립적으로 검증할 수 있게 합니다. 대규모 언어 모델(LLM)은 근사 베이지안 필터링 연산자로 공식화되며, 상태 공간, 필터링, 예측, 정책, 효용 명세(utility-specification), 매개변수 리스크를 포괄하는 모델 리스크 분류 체계가 개발됩니다. 모델 리스크 검증 방법론은 포트폴리오 관리 사례 연구를 통해 입증됩니다. 이 연구에서 에이전트는 시장 및 거시경제 정보로부터 잠재적인 시장 레짐을 추론하고, 믿음 조건부 예측을 생성하며, Black-Litterman 프레임워크를 사용하여 포트폴리오를 구성합니다. 실증적 검증은 성능 분석, 믿음 보정 진단, 커버리지 테스트, 제거 연구(ablation study), 매개변수 민감도 분석을 결합하여 수행됩니다. 결과에 따르면 잠재 상태 추론은 의사 결정 품질에 독립적으로 기여하며, 주요 결론은 광범위한 매개변수 값에 걸쳐 견고한 것으로 나타났습니다. 본 논문의 주요 기여는 확립된 모델 리스크 관리 개념을 자율 AI 시스템으로 확장하고, 해당 시스템의 검증, 거버넌스 및 모니터링을 위한 엄격한 기반을 제공하는 실용적인 프레임워크입니다.