AI 어시스턴트가 일관되게 틀리더라도 사람들은 이를 신뢰하는가?
Do People Trust AI Assistants Even When They Are Consistently Wrong?
한국어 초록
신뢰성에 대한 우려에도 불구하고 사람들은 의사결정에 대화형 AI 시스템을 점점 더 많이 사용하고 있다. 사람들은 다중 턴 대화에서 AI 시스템의 정확도에 얼마나 잘 맞추어 의존도를 조정하는가? 본 연구는 AI 어시스턴트가 도움이 되는 경우(정확도 100%), 도움이 되지 않는 경우(정확도 0%), 혼합된 경우(정확도 50%)로 달리하면서, 반복된 상호작용에 걸쳐 LLM의 조언에 대한 사람들의 의존이 어떻게 변하는지 측정한다. 4개의 실험 전반에서, 사람들은 도움이 되는 모델을 도움이 되지 않는 모델보다 더 신뢰하게 되지만(각각 67% 대 21%), 이는 모델의 정확도에 대한 외부 피드백을 받을 때에만 해당한다. 피드백이 없으면 사람들은 일관되게 도움이 되지 않는 모델에게 48%의 경우 계속 설득되었다(도움이 되는 모델은 38%). 도움이 되는 모델에 대한 신뢰가 쌓이기보다는, LLM 조언자에 대한 참가자의 의존이 초기 시행에서 높았고 부정확하다는 증거가 나타나야 비로소 감소하는 경향이 있었다. 참가자들은 LLM 조언자를 인간 조언자보다 더 신뢰하였으며(83% 대 65%, 실험 4), LLM은 인간보다 도움이 되는 이력으로부터 더 큰 이득을 보았다. 이전 연구와 달리, 진실을 주장하는 것이 거짓을 주장하는 것보다 유리하다는 증거는 제한적이었다. 진실의 이점은 참가자가 이미 자신의 입장에 매우 확신하는 경우에만 나타났으며, 정적 힌트에서는 전혀 나타나지 않았다. 종합하면, 이 결과는 사람들이 시의적절한 정답 피드백에 접근할 수 없는 한, 일관되게 틀린 LLM의 조언에도 흔들릴 수 있음을 시사한다. 안타깝게도 많은 분야에서 이러한 피드백은 이용할 수 없을 수 있으며, 이는 AI에 대한 과의존으로 이어진다.
원문 초록
People are increasingly using conversational AI systems to make decisions despite concerns around their reliability. How well do people calibrate to AI systems' accuracy in multi-turn conversations? We measure how people's reliance on LLMs' advice changes across repeated interactions, varying whether the AI assistant is helpful (100% accurate), unhelpful (0% accurate), or mixed (50% accurate). Across 4 experiments, we find people learn to trust helpful models more than unhelpful ones (67% vs 21% of the time), but only when they receive external feedback on the models' accuracy. Without feedback, people continue to be persuaded 48% of the time by a consistently unhelpful model (vs 38% for helpful). Rather than gaining trust in helpful models, participant reliance on LLM advisors tended to be high in early trials and only fell with evidence of inaccuracy. Participants trusted LLM advisors more than they trusted human advisors (83% vs 65%, Experiment 4), and LLMs benefited more from having a helpful track record than humans did. In contrast with previous work, we find limited evidence of an advantage for arguing for the truth (versus a falsehood). Truth advantages emerged only when participants were already very confident in their position, and did not emerge at all for static hints. Collectively, the results suggest that people may be swayed by LLM advice, even when it is consistently false, unless they have access to timely ground-truth feedback. Unfortunately, in many domains such feedback may not be available, leading to overreliance on AI.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.14833v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.