Lean4Agent: 에이전트 워크플로우 및 궤적에 대한 형식적 모델링과 검증
Lean4Agent: Formal Modeling and Verification for Agent Workflow and Trajectory
대규모 언어 모델(LLM)이 신뢰할 수 있는 다단계 워크플로우를 실행하도록 갖추는 것은 인공지능의 핵심 과제가 되었다. 최근 LLM의 에이전트 역량이 향상되었음에도 불구하고, 대부분의 에이전트 시스템은 워크플로우와 실행 궤적을 명세, 검증, 디버깅하기 위한 형식적 방법론이 여전히 부재하다. 이 과제는 수학에서 오랫동안 지속되어 온 문제를 반영하는데, 자연어(NL)의 모호성이 형식 언어(FL) 개발의 동기가 된 것과 같은 맥락이다. 이러한 패러다임에서 영감을 받아, 우리는 **Lean4Agent**를 제안한다. 이는 의존 타입 형식 언어인 Lean4를 사용하여 에이전트 행동을 모델링하고 검증하는, 저자들이 아는 한 최초의 프레임워크이다. **Lean4Agent**는 **FormalAgentLib**를 출시하는데, 이는 명시적 가정 하에서 에이전트 워크플로우의 의미적 일관성을 형식적으로 모델링 및 검증하고, 궤적을 통해 드러나는 실행 시점 실패의 위치를 파악할 수 있도록 하는 확장 가능한 Lean4 라이브러리이다. **FormalAgentLib**를 기반으로 **LeanEvolve**를 추가로 개발하였으며, 이는 **FormalAgentLib**의 결과를 적용하여 워크플로우를 수정함으로써 그 역량을 향상시킨다. SWE-Bench-Verified의 난이도 높은 문제 서브셋과 ELAIP-Bench의 서브셋에 대해 5개의 주요 LLM을 대상으로 수행한 광범위한 실험에서, 검증을 통과한 워크플로우가 실패한 워크플로우보다 평균 **11.94%** 높은 성능을 보였으며, **LeanEvolve**는 SWE 성능을 평균 **7.47%** 추가로 향상시켰다. 더 나아가, **Lean4Agent**는 표현력 있는 의존 타입 형식 언어를 사용하여 에이전트 행동을 형식적으로 모델링하고 검증하는 새로운 연구 분야의 토대를 마련한다.