arXiv:2604.03237v3 cs.HC

AI 지원 의사결정에서 보정된 의존 지원하기: 과제마다 다른 전략

Supporting Calibrated Reliance in AI-Assisted Decision-Making: Different Strategies for Different Tasks

Ruth Cohen, Lu Feng, Ayala Bloch, Sarit Kraus

제출 2026-11-17

한국어 초록

AI 시스템이 인간의 의사결정을 점점 더 많이 지원함에 따라, 사람들이 언제 AI 예측에 의존하고 언제 의문을 제기하거나 번복해야 하는지 인식하는 데 어떤 정보가 도움이 되는지를 규명하는 것이 핵심 과제이다. RAVEN 행렬을 이용한 추상적 시각 추론과 LSAT 문제를 이용한 연역적 논리 추론에 걸친 세 건의 통제된 인간 대상 연구를 통해, 서로 다른 형태의 AI 지원이 AI 지원 의사결정의 성과에 어떤 영향을 미치는지 조사한다. 다단계 공개 연구는 AI 예측과 설명이 객관적 정확도와 주관적 확신에 서로 다르게 영향을 줄 수 있음을 보여 준다. 시각 추론에서 LLM 설명은 예측된 답만 제시했을 때보다 정확도를 높이지 못하며, 예측만 제공하는 지원보다 유의하게 우수한 추가 지원 형식은 없다. 예측 확률은 기술적(descriptive) 정확도와 오류 회복이 가장 높고, 도출된 선택적 자동화 정책은 더 높은 성능의 기준 벤치마크를 제공한다. 반면 언어 기반 논리 추론에서는 LLM 설명이 가장 높은 정확도와 오류 회복을 보여 전문가가 작성한 설명과 확률 기반 지원을 능가한다. 이러한 결과는 AI 지원 전략의 효과가 과제 환경에 따라 달라짐을 시사한다. 따라서 인간-AI 인터페이스는 지원의 형태를 과제와 사용자가 이용할 수 있는 증거에 맞춤으로써 보정된 의존과 효과적인 오류 회복을 지원하도록 설계되어야 한다.

원문 초록

As AI systems increasingly support human decision-making, a central challenge is determining what information helps people recognize when to rely on AI predictions and when to question or override them. Across three controlled human-subject studies spanning abstract visual reasoning with RAVEN matrices and deductive logical reasoning with LSAT problems, we examine how different forms of AI support affect performance in AI-assisted decision-making. A multi-stage reveal study shows that AI predictions and explanations can affect objective accuracy and subjective confidence differently. In visual reasoning, LLM explanations do not improve accuracy beyond the predicted answer alone, and no additional support format significantly outperforms prediction-only support; predicted probabilities show the highest descriptive accuracy and error recovery, while a derived selective-automation policy provides a higher-performing reference benchmark. In language-based logical reasoning, by contrast, LLM explanations yield the highest accuracy and error recovery, outperforming expert-written explanations and probability-based support. These results suggest that the effectiveness of AI support strategies depends on the task setting. Human--AI interfaces should instead be designed to support calibrated reliance and effective error recovery by matching the form of assistance to the task and the evidence available to users.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.03237v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.