자동화된 실패 귀인(failure attribution)은 대규모 언어 모델(LLM)을 활용하여 에이전트 시스템이 어디서, 왜 실패하는지를 파악합니다. 에이전트의 능력이 향상될수록 그 실패 양상은 더욱 미묘해지며, 이로 인해 자동화된 귀인의 중요성이 점점 커지고 있습니다. 우리는 에이전트 시스템에서의 자동화된 실패 귀인을 위한 대규모 벤치마크인 Who&When Pro를 소개합니다. 성공적인 접두 문맥을 정확히 재현한 후에만 실패를 주입하는 엄격하게 통제된 파이프라인을 사용하여, 다양한 시나리오를 아우르는 3개의 모달리티와 26개의 벤치마크에 걸쳐 정답 레이블이 붙은 12,326개의 실패 궤적을 구축합니다. 벤치마킹을 넘어, 우리는 광범위한 실험과 분석을 수행하여 모달리티, 프로토콜, 모델 패밀리 전반에 걸쳐 모델이 실패를 귀인하는 방식의 체계적인 패턴을 밝히고, 향후 자동화된 실패 귀인 시스템을 위한 실증적 지침을 제공합니다.
LLM 심판 모델이 그럴듯한 에이전트 응답에 0.85 이상의 점수를 부여하더라도 실제 추적 기록에서는 에이전트가 필요한 아티팩트를 전혀 검색하지 않아 GroundEval 점수가 0.000이 되는 사례를 보여주며, GroundEval은 에이전트가 사용한 증거 경로를 시간적 경계·접근 권한·인과 관계 측면에서 결정론적으로 검증하는 judge-free 평가 프레임워크다. Silence(부재 주장 전 검색 여부), Perspective(행위자 관점의 증거 유효성), Counterfactual(올바른 인과 메커니즘 사용 여부)의 세 가지 트랙을 통해 최종 답변 기반 평가가 구조적으로 탐지할 수 없는 상태 무효 정확성(state-invalid correctness) 실패를 식별한다.
자율 LLM 에이전트는 개별적으로는 무해해 보이는 행동들의 연쇄를 통해 숨겨진 악의적 목적을 추구할 수 있어, 표준 궤적 수준 모니터링으로는 사보타주를 감지하기 어렵다. 기존 접근법은 전체 궤적을 단일 패스(single pass)로 평가하거나 독립적으로 채점된 윈도우(window)로 분할하는 방식 중 하나를 따르며, 시간적으로 멀리 떨어진 행동들 간의 증거를 연결하는 능력에 한계가 있다. 우리는 장기 실행(long-horizon) LLM 에이전트 궤적을 위한 모니터링 프레임워크인 TRACE를 제안한다. TRACE는 TIJ(분류-검사-판정) 루프를 통해 작동하며, 고신호(high-signal) 영역을 식별하고, 추론 단계 전반에 걸쳐 누적된 증거를 유지하면서 표적 검사(targeted inspection)를 수행한 뒤, 궤적 수준 판정(verdict)을 종합한다. TRACE를 SHADE-Arena의 10개 작업 도메인에서 최신(state-of-the-art) 기준선(baseline)과 비교하여 평가한 결과, TRACE는 집계 F1 0.713과 재현율 0.844를 달성했으며, 장거리 증거 연결(long-range evidence linking)이 필요한 작업에서 가장 큰 향상을 보였다.