Safety Nudges: 실시간 AI 위험 인식을 위한 사용자 대면 개입
Safety Nudges: User-Facing Interventions for Real-Time AI Risk Awareness
대화형 AI 시스템은 환각(hallucination), 아부(sycophancy), 과잉 자신감(overconfidence), 의인화(anthropomorphism) 등 사용자에게 안전성(safety) 위험을 초래할 수 있으나, 이러한 위험은 일상 사용 중 사용자가 감지하기 어렵다. 우리는 챗봇 대화에서 우려할 만한 행동이 감지될 때 경량의 in situ 플래그를 제공하는 브라우저 기반 도구인 Safety Nudges를 제안한다. 챗봇을 자주 사용하는 45명을 대상으로 2주간 현장 연구(field study)를 수행하여 Safety Nudges를 평가했으며, 상호작용 로그, 설문, 개별 넛지에 대한 피드백을 수집했다. 참가자들은 도구가 유용하고 명확하며 방해가 최소라고 평가했고, 거의 모든 사용자가 잠재적 AI 위해(harm)에 대한 인식이 높아졌다고 보고했으나, 이러한 인식 향상만으로는 반드시 뚜렷한 행동 변화로 이어지지는 않았다. 결과는 사용자 대면 안전 넛지가 맥락 속에서 AI 응답을 비판적으로 평가하도록 돕음으로써 모델 수준 보호 장치를 보완할 수 있음을 시사하며, 대화형 AI 안전을 위한 넛지 설계에서 관련성(relevance), 보정(calibration), 사용자 통제(user control)의 중요성을 부각한다.