arXiv:2611.20488v1 cs.AI

EVIDENT: GUI 에이전트의 근거 활용 평가

EVIDENT: Evaluating Evidence Grounding in GUI Agents

Yerin Nam, Minkyung Cho, MinKyu Kim, SeungWoo Song, Hangyeol Yoo, Jihyo Kim, KyungTae Lim

제출 2026-11-16

저자 비고

arXiv Comments

Accepted to EACL 2027 Findings. 36 pages

한국어 초록

GUI 에이전트는 웹 과제를 완수했는지로 평가하는 경우가 늘고 있다. 그러나 겉으로 과제를 완료해도 중요한 실패를 놓칠 수 있다. 탐색 중에 확인한 근거가 최종 답을 뒷받침하지 않을 수 있기 때문이다. 본 연구는 GUI 에이전트가 관측 가능한 웹 근거에 기반해 판단하는지 평가하는 EVIDENT를 소개한다. 의미 근거 확인, 문맥 추론, 시각 근거 확인에 걸친 실제 영어 및 한국어 과제 220개를 포함한다. 각 과제에는 무엇을 검증해야 하는지 사람이 정리한 근거 메타데이터가 붙는다. 세 평가지표 TSR, ESR, GSR로 겉으로 드러난 완료와 근거에 기반한 성공을 구분한다. 각각 결과의 성공 여부, 필수 근거 관측 여부, 개별 주장이 근거로 뒷받침되는지를 측정한다. 상용 및 오픈소스 GUI 에이전트 실험에서 겉으로 드러난 성공과 근거에 기반한 성공 사이에 큰 격차가 나타났다. 특히 문맥과 시각 정보를 다루는 과제에서 격차가 컸다. 현재 평가가 에이전트의 신뢰성을 과대평가할 수 있으며, 답을 했는지에 더해 실제로 검증했는지도 평가해야 함을 보여 준다.

원문 초록

GUI agents are increasingly evaluated by whether they complete web tasks, but surface success can hide a critical failure: the final answer may not be supported by evidence observed during navigation. We introduce EVIDENT, an evidence-driven benchmark for evaluating whether GUI agents ground their decisions in observable web evidence. EVIDENT contains 220 real-world English and Korean tasks spanning semantic grounding, contextual inference, and visual grounding, each paired with human-curated evidence metadata specifying what must be verified. We further separate surface task completion from evidence-grounded success using three metrics: TSR, ESR, and GSR, which respectively measure outcome success, required evidence observation, and claim-level evidence support. Experiments on commercial and open-source GUI agents reveal substantial gaps between surface success and evidence-grounded success, especially in contextual and visual tasks. These results show that current evaluations can overestimate agent reliability and highlight the need to assess not only whether agents answer, but whether they verify.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20488v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.