대규모 언어 모델(LLM) 에이전트의 실행 중 발생하는 오류와 눈에 보이는 결과 사이에는 많은 단계가 존재할 수 있어, 결정적인 오류를 국소화하려면 각 단계의 내용과 단계 간 의존성을 모두 이해해야 합니다. 본 논문에서는 에이전트의 실패 귀인(failure attribution)을 위한 의존성 기반 프레임워크인 DeFA를 소개합니다. DeFA는 먼저 프로토콜 관계와 의미론적 의존성을 결합하여 전체 궤적에 걸친 사건 의존성 그래프를 구축합니다. 그런 다음 작업 요구사항을 위반할 수 있는 사건을 식별하고 그 원인과 후속 영향을 추적하여 실패 전파 그래프를 구성합니다. 마지막으로 DeFA는 단계별 증거와 실패 전파 과정에서 각 단계가 수행한 역할을 활용하여 결정적 오류, 책임 에이전트, 오류 범주를 식별합니다. 긴 궤적을 지원하기 위해 DeFA는 실행 과정을 세그먼트로 분할하고 현재 세그먼트의 상세한 내용과 다른 세그먼트의 요약을 결합함으로써 로컬 진단에서도 전체 실행 문맥에 접근할 수 있도록 합니다. Who and When 및 Who and When Pro 텍스트 하위 집합 전반에서, DeFA는 평가된 모든 백본에서 가장 높은 책임 에이전트 및 정확한 단계 정확도를 달성했으며, Pro에서는 분류 체계 기반 방법 중 가장 높은 실패 모드 정확도를 기록했습니다. 이미지 및 비디오 궤적에 대한 추가 실험은 멀티모달 실패 귀인에 대한 적용 가능성을 보여줍니다. 절제 연구(ablation)는 세그먼트 분할, 사건 의존성 그래프, 실패 전파 그래프의 기여도를 뒷받침합니다. Trace2Skill의 스킬 진화에 DeFA의 진단 피드백을 활용했을 때 기본 파이프라인 대비 다운스트림 작업 정확도가 6~15%p 향상되어, 이러한 진단이 후속 작업에서 에이전트의 개선을 지원할 수 있음을 입증합니다.
LLM 기반 에이전트 시스템의 실패 귀속(failure attribution), 즉 실패 궤적에서 어떤 단계가 과제 실패를 유발했는지 식별하는 것은 이러한 시스템의 디버깅과 개선에 핵심적이다. 기존 접근법은 계산 비용이 큰 프롬프트 기반 파이프라인에 의존하거나, 단계 수준 오류 주석이 포함된 실패 궤적에 대한 사후 학습을 요구하는데, 이는 수집 비용이 크고 규모 확장이 어렵다. 우리는 실용적인 실패 귀속 모델이 경량이어야 하며 실패 데이터에 대한 단계 수준 감독 없이 학습 가능해야 한다고 주장한다. 이를 위해 비지도 실패 귀속(unsupervised failure attribution)을 다룬다. 즉, 성공 궤적만으로 학습하고 실패 궤적이 주어졌을 때 추론 시점에 오류 단계를 식별한다. 우리는 OAT를 제안하는데, 이는 신경 제어 미분방정식(neural controlled differential equations)을 사용한 일급 학습(one-class learning)으로 이 문제를 형식화하며, 잠재 공간에서 성공 궤적의 동역학 패턴을 모델링한다. 추론 시점에 실패 궤적의 각 단계는 성공 궤적에서 학습된 동역학으로부터의 편차에 기반한 이상 점수(anomaly score)를 부여받으며, 이는 오류 단계 집합을 형성하는 데 사용된다. 100개의 성공 궤적만으로 학습한 실험에서 OAT는 프롬프트 기반 베이스라인보다 200--5000 $\times$ 빠르며, 동시에 도메인 내 및 분포 외(out-of-distribution) 데이터셋에서 각각 F1 점수 +20% 및 +7%로 일관되게 우수한 성능을 보여, OAT가 에이전트 시스템 실패 진단을 위한 유망하고 효율적인 방향임을 보여준다.
자동화된 실패 귀인(failure attribution)은 대규모 언어 모델(LLM)을 활용하여 에이전트 시스템이 어디서, 왜 실패하는지를 파악합니다. 에이전트의 능력이 향상될수록 그 실패 양상은 더욱 미묘해지며, 이로 인해 자동화된 귀인의 중요성이 점점 커지고 있습니다. 우리는 에이전트 시스템에서의 자동화된 실패 귀인을 위한 대규모 벤치마크인 Who&When Pro를 소개합니다. 성공적인 접두 문맥을 정확히 재현한 후에만 실패를 주입하는 엄격하게 통제된 파이프라인을 사용하여, 다양한 시나리오를 아우르는 3개의 모달리티와 26개의 벤치마크에 걸쳐 정답 레이블이 붙은 12,326개의 실패 궤적을 구축합니다. 벤치마킹을 넘어, 우리는 광범위한 실험과 분석을 수행하여 모달리티, 프로토콜, 모델 패밀리 전반에 걸쳐 모델이 실패를 귀인하는 방식의 체계적인 패턴을 밝히고, 향후 자동화된 실패 귀인 시스템을 위한 실증적 지침을 제공합니다.
자율 연구 에이전트가 실험 실패 시 단일 반성(reflection)에 의존하는 취약점을 해결하기 위해, SAGE는 다중 가설 실패 귀인(Multi-Hypothesis Failure Attribution, MHFA) 메커니즘을 통해 실패 원인을 구조적으로 진단하고 가설·실험 설계·구현 단계 중 적절한 수준으로 복구를 라우팅한다. 12개 주제·5개 도메인 벤치마크에서 지표 포함 출력 비율을 42%에서 92%로 끌어올리고 아티팩트 품질 점수를 5.00에서 6.75/10으로 개선하며 AI-Scientist-v2를 상회하는 성능(52.0 vs. 48.2)을 달성했다.