에이전틱 AI 시스템 구성 학습
Learning to Configure Agentic AI Systems
대규모 언어 모델(LLM) 기반 에이전트 시스템을 구성하는 것은 방대한 조합의 설계 공간에서 워크플로, 도구, 토큰 예산, 프롬프트를 선택하는 과정을 수반합니다. 현재는 일반적으로 질의 난이도와 무관하게 동일한 구성을 적용하는 고정된 템플릿이나 수작업으로 튜닝된 휴리스틱으로 처리되어, 취약한 동작과 연산 자원 낭비를 초래합니다. 이를 해결하기 위해, 본 연구에서는 각 구성이 에이전트 시스템의 질의 처리 방식을 결정하는 시간적으로 확장된 옵션으로 작용하는 준 마르코프 결정 과정(SMDP)으로 에이전트 구성을 정형화하고, 질의별 에이전트 구성을 동적으로 선택하는 경량 계층적 정책인 ARC(Agentic Resource & Configuration learner)를 소개합니다. 추론, 도구 사용 및 에이전틱 벤치마크 전반에서 ARC는 예산이 일치하는 도구 증강 LLM보다 일관되게 향상된 성능을 보여주었으며, 평균 추론 정확도를 31.3%, 도구 사용 정확도를 13.95% 향상시켰고, τ-Bench (Airline) Pass^1 성공률을 9.0%에서 18.0%로 두 배로 높였습니다. 이러한 결과는 질의별 에이전트 구성을 학습하는 것이 '모두에게 일률적으로 적용되는(one size fits all)' 설계에 대한 강력한 대안임을 입증합니다.