컴포넌트 테스트를 넘어서: 에이전틱 AI 시스템 검증
Beyond Component Testing: Validating Agentic AI Systems
에이전틱 AI(Agentic AI) 시스템은 계획(planning), 도구 사용, 메모리, 상호작용 및 적응을 결합한 다단계 궤적(trajectory)을 통해 동작합니다. 이러한 동작 특성으로 인해 수용 가능한 시스템 동작이 시간에 따라, 그리고 변화하는 환경 조건 하에서 결정이 어떻게 전개되는지에 좌우되므로, 검증(validation) 실무는 기존의 컴포넌트 테스트와 단발성 입출력 평가를 넘어서는 수준으로 확장됩니다. 본 체계적 매핑 연구(systematic mapping study)는 에이전틱 시스템의 검증 문제를 규명하기 위해 에이전트 평가, 소프트웨어 보증, 사이버-물리 시스템, 런타임 모니터링 및 규제 지침에 걸친 262편의 논문을 종합합니다. 본 검토는 행동적, 안전성(safety), 시간적, 규제적, 다중 에이전트 관심사를 다루는 5차원 분류 체계를 중심으로 구성되며, 해당 분류 체계를 사용하여 현재의 접근 방식을 매핑하고 접근 방식과 차원 간의 밀집 및 희소 조합을 식별합니다. 생성된 맵에 따르면 문헌은 행동 평가(262편 중 105편)에 집중되어 있으며 시간적 타당성(14편)이 가장 미흡한 것으로 나타났습니다. 규제 관련 연구는 주로 IEEE 색인 학술 행사에서 발표된 보증 케이스(assurance cases) 및 규제 분석에 기반하고 있으며, 다중 에이전트 연구는 주로 벤치마크에 집중되어 있습니다. 세 가지 교차 도메인 사례 연구(의료 케어, 산업 운영, 스마트 모빌리티 시스템)는 검토된 문헌에 기록된 실패 패턴을 바탕으로 안전이 중요한(safety-critical) 환경에서 5가지 분류 차원이 어떻게 반복적으로 나타나는지에 대한 운영적 예시를 제공합니다. 본 논문은 경계가 지정된 자율성(bounded-autonomy) 명세, 적대적 궤적 생성, 런타임 모니터링, 감사 가능한 증거 구조를 중심으로 한 수명 주기 지향적 연구 과제를 제시하며 마무리됩니다. 본 연구의 핵심 주장은 에이전틱 AI의 신뢰할 수 있는 배포가 고립된 컴포넌트만을 평가하는 것이 아니라 맥락 내에서 궤적을 검증하는 것에 달려 있다는 점입니다.