신뢰도 추론 그래프: LLM 에이전트를 위한 구조화된 신뢰도 추정
Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents
한국어 초록
중요한 영역에서 대규모 언어 모델(LLM) 에이전트를 사용할 때, 에이전트의 출력을 신뢰할지 아니면 개입할지에 대한 정보에 기반한 결정을 내리려면 에이전트의 성공 여부에 대해 잘 보정된(calibrated) 신뢰도가 필요합니다. 에이전트 궤적의 이종적이고 상호의존적인 여러 단계에 걸쳐 성공에 관한 근거가 분산되어 있기 때문에 에이전트의 신뢰도 추정은 어렵습니다. 실제 에이전트 배포에서는 추가적인 문제들도 발생합니다. 최첨단 LLM은 내부 신호에 대한 접근을 제한하는 경우가 많고, 에이전트 롤아웃 비용이 많이 들며, 학습 데이터가 없거나 빠르게 구식이 될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 특권적인 모델 접근이나 학습 데이터 없이도 단일 궤적으로부터 에이전트가 작업을 완수했을 확률을 추정하는 추론 시점 프레임워크인 신뢰도 추론 그래프(CRG, Confidence Reasoning Graphs)를 제안합니다. 실행 과정을 단일한 종합적 판단으로 압축하는 대신, CRG는 에이전트가 작업을 완수했다는 주장으로 시작하여 이를 궤적 근거에 기반한 맥락화된 하위 주장들로 분해하고, 각 말단 주장의 신뢰도를 추정한 뒤, 최종적으로 이를 전체 신뢰도 추정치로 집계합니다. 세 가지 에이전트 벤치마크, 세 가지 백본 모델, 세 가지 에이전트 프레임워크에 걸친 실험에서 CRG는 언어화 기반(verbalized), 샘플링 기반, 화이트박스 대리 기준선(baseline)보다 더 잘 보정된 신뢰도와 강력한 위험 인식 의사결정을 제공함을 보여줍니다. 또한 보정 오차만으로는 오해의 소지가 있을 수 있음을 발견했습니다. 화이트박스 대리 기준선은 잘 보정된 것처럼 보이지만 무작위에 가까운 식별 성능을 제공합니다. 절제 연구(ablation study)를 통해 CRG의 성능 향상이 단순히 그래프 구성 자체보다는 주장 수준의 신뢰도 추정 및 집계 덕분임을 확인했습니다. 마지막으로 CRG는 각 신뢰도 추정의 근거가 되는 주장과 궤적 증거를 드러내므로, 의사결정 시점에 감사가 가능하도록 지원합니다.
원문 초록
When using an LLM agent in a consequential domain, making an informed decision about whether to trust its output or intervene requires calibrated confidence in the agent's success. Confidence estimation for agents is difficult because evidence about success is distributed across heterogeneous, interdependent steps of an agent's trajectory. Practical agentic deployments introduce further challenges: frontier LLMs often provide limited access to internal signals, agent roll-outs are costly, and training data may be unavailable or quickly become outdated. To address these challenges, we introduce Confidence Reasoning Graphs (CRGs), an inference-time framework that estimates the probability an agent accomplished its task from a single trajectory, without privileged model access or training data. Rather than compressing an execution into a single holistic judgment, a CRG begins with the claim that the agent accomplished its task, decomposes it into contextualized sub-claims grounded in trajectory evidence, estimates confidence for each terminal claim, and finally aggregates these into an overall confidence estimate. Across three agentic benchmarks, three backbone models, and three agent frameworks, CRGs yield better-calibrated confidence and stronger risk-aware decision making than verbalized, sampling-based, and white-box surrogate baselines. We further find that calibration error alone can be misleading: a white-box surrogate baseline appears well calibrated while providing near-chance discrimination. Ablations attribute CRG's improvements to claim-level confidence estimation and aggregation rather than graph construction alone. Finally, a CRG exposes the claims and trajectory evidence underlying each confidence estimate, enabling it to be audited at decision time.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
34 pages, 6 figures, 11 tables