AgentLTL: 도구 사용 LLM 에이전트의 절차적 준수를 측정, 강제 및 학습시키기 위한 트레이스 검증 프레임워크
AgentLTL: A Trace-Verification Framework for Measuring, Enforcing, and Training Procedural Compliance in Tool-Using LLM Agents
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 일반적으로 최종 답변의 정확성 또는 LLM 판정자(judge)로 평가된다. 그러나 두 방식 모두 답변이 어떻게 생성되었는지는 포착하지 못한다. 안전이 중요한 환경에서는 절차 자체가 정확성의 일부다. 본 논문에서는 1차 선형 시제 논리(FO-LTL, First-Order Linear Temporal Logic)에서 파생된 언어인 AgentLTL을 소개한다. AgentLTL은 에이전트 트레이스(trace)에 대한 절차적 규칙을 표현하며, 결정론적이고 판정자 없는 준수 점수를 산출한다. 이 프레임워크에서 단일 명세(specification)는 두 가지 용도로 활용된다. 첫째는 하네싱(harnessing)으로, 제약 조건이 완료된 트레이스의 점수를 매기거나, 실행 전에 각 접두 문맥을 온라인으로 검사하여 도구 호출을 차단한다. 둘째는 파인튜닝(fine-tuning)으로, 점수가 밀집 보상(dense reward)으로 활용된다. 순서, 분기, 반복, 그라운딩(grounding)을 아우르는 벤치마크에서, 차단 및 경고(block-and-warn) 하네싱은 7개 모델 중 5개에서 준수율을 향상시켰다. 동일한 보상을 활용한 파인튜닝은 미확인 도구 이름 별칭(alias)을 포함한 홀드아웃(held-out) 패턴에서 정확도와 준수율을 각각 38 및 17.5 퍼센트 포인트 향상시켰다. 이러한 결과는 모델이 표면적인 도구 이름과 절차를 암기하는 것이 아니라 절차적 구조를 습득하고 있다는 해석과 일치한다.