아이디어 발상을 지원하기 위해 AI 위험을 브레인스토밍하는 에이전트의 좁은 세상 네트워크
Small-world Networks of Agents Brainstorm AI Risks to Support Ideation
참여형 AI 위험 평가의 아이디어 발상(ideation) 단계는 백지 상태나 사전에 정의된 제한된 위험 목록에서 시작하는 경우가 많아, 간접적이거나 시스템적인 위해를 드러내기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 3단계 아이디어 발상 지원 도구를 제안합니다. 이 도구는 참여형 AI를 대체하기보다는 보완하며, 향후 영향을 받는 커뮤니티와의 참여를 집중시키는 데 도움을 줍니다. 첫째, 주어진 AI 활용에 따라 이해관계자를 동적으로 발굴하고 바깥으로 재귀적으로 확장하여 간과되거나 간접적인 이해관계자가 드러날 수 있도록 합니다. 둘째, 대규모 언어 모델(LLM)로 이러한 이해관계자들을 시뮬레이션하고, 주어진 토폴로지의 네트워크로 이들을 연결하여 위험에 대해 아이디어를 내도록 합니다. 셋째, 네트워크 중심성 측도를 사용하여 위험의 우선순위를 지정합니다. 초기 평가에서 좁은 세상(small-world) 네트워크로 연결된 에이전트들을 통해 실행되는 매개 중심성(betweenness centrality)이 가장 효과적임을 발견했습니다. 이는 단절된 그룹을 연결하는 이해관계자가 제기한 위험을 부각하여, 전통적인 방식에서는 종종 놓치는 새롭고 시스템적인 위해를 표면화하기 때문입니다. AI 챗봇 컴패니언 사용 사례에서 이 접근 방식은 식별된 위험의 타당성이나 심각성을 줄이지 않으면서도, 정규화된 5점 리커트 척도 기준으로 단일 LLM 브레인스토밍 대비 약 1.1점, 에이전트 기반 LLM 브레인스토밍 대비 0.5점만큼 식별된 위험의 신규성을 높였습니다. 본 프레임워크가 미래 바퀴(Futures Wheel) 접근 방식을 사용하는 인간 주도 아이디어 발상 세션에 도움이 되는지 테스트하기 위해, 참여형 AI 위험 평가에서 비서구권 젊은 챗봇 사용자로 구성된 11개 팀을 대조군(팀)과 실험군(팀)의 두 가지 유형으로 나누었습니다. 대조군 팀은 초기 평가에서 45명의 AI 실무자가 생성한 위험 목록에서 시작했고, 실험군 팀은 본 프레임워크가 생성한 목록에서 시작했습니다. 실험군 팀은 전반적으로 더 많은 위험을 식별했으며, 더 많은 시스템적 위험, 인간-컴퓨터 상호작용(HCI) 위험, 환경적 위험을 식별했습니다.