어떤 AUC에서도 안전하지 않음: 책임 있는 AI를 위한 사회기술적 재난의 배우지 못한 교훈
Unsafe at any AUC: Unlearned Lessons from Sociotechnical Disasters for Responsible AI
자동화된 의사결정과 데이터 기반 기술이 사회 전반에 퍼져 중대한 결과를 관리하는 데 사용됨에 따라, 기술의 역량, 한계, 그리고 수반되는 위험을 맥락 속에서 이해하려면 전체 사회기술(sociotechnical) 시스템에 대한 분석이 필요하다. 고도로 복잡한 시스템에서의 사회기술적 위험 분석은 AI 시스템의 설계와 평가에 분명한 교훈을 제공하며, 신뢰할 수 있거나 "책임감 있게 설계된" 구성요소에 대한 기술적 초점을 넘어 시스템 수준에서 위험을 이해할 수 있게 한다. 인간이 만든 재난은 이러한 사건들의 심각성 때문에 수십 년간 연구되어 왔다: 체르노빌, 쓰리 마일 아일랜드, 후쿠시마 다이이치, 보팔, 챌린저 재난 등을 생각해 보라. 흔한 오해는 이러한 종류의 사건들이 복잡한 시스템에서 본질적으로 예측 불가능한 상호작용에서 비롯된 우발적 사고라는 것이다. 더 면밀한 조사는 위험과 유해 요인이 사전에 잘 알려져 있었지만 사회 구조적, 정치적, 경제적 요인으로 인해 조치가 취해지지 않았음을 보여준다. 우리는 AI의 개발과 사용이 이러한 배우지 못한 교훈을 통해 이득을 볼 수 있는 여러 영역을 개괄한다: 조직 수준에서의 위험 인식, 소통, 분석의 개선; 요구사항과 책임의 추적 가능성(traceability); 사회적·조직적 역학을 일차적 엔지니어링 관심사로 포함하는 책임과 안전성(safety)에 대한 전체론적 접근. 각 영역에 대해 구체적인 배우지 못한 교훈을 제시하고, 이것이 이전 사고에서 어떻게 실패로 이어졌는지 예시로 보여주며, 이러한 교훈이 현대 컴퓨팅 시스템, 특히 AI에서 여전히 배워지지 못하고 있는 사례도 제시한다.