엄밀함과 현실 사이: AI 안전성 벤치마크 개발자는 벤치마크의 사용과 유지보수를 어떻게 이해하는가
Between Rigor and Reality: How AI Safety Benchmark Developers Understand Benchmark Use and Maintenance
한국어 초록
안전성 벤치마크는 생성형 AI(GenAI) 시스템이 초래하는 위험을 이해하기 위한 주요 도구로 거론되지만, 실제 안전성 평가의 요구를 충족하지 못하는 경우가 많다는 증거가 늘고 있다. 본 연구는 학계와 산업계의 AI 안전성 벤치마크 개발자 5명과의 인터뷰 결과를 제시한다. 우리는 안전성 벤치마크가 의도한 유용성에 대한 인식과 배포된 시스템의 안전성 평가에서의 실질적 유용성 사이에 괴리가 있음을 발견했다. 참여자들은 이 괴리의 원인이 되는 두 가지 과제에 대한 견해를 제시했다. (1) 안전성 구성개념에 대해 평가자 간 신뢰도를 확보하기 어렵다는 점, (2) 지속되는 외적 타당도 위협을 어떻게 다룰지에 대한 명확성이 부족하다는 점이다. 분석을 바탕으로 우리는 안전성 벤치마크가 배포 맥락에 근거할 뿐만 아니라 그 맥락과 적극적으로 통합되어야 한다고 주장한다. 이를 돕기 위해 학계와 산업계의 AI 안전성 이해관계자 간에 더 투명하게 소통하기 위한 방안을 제시한다.
원문 초록
Safety benchmarks are cited as the primary tool to understand the risks posed by generative AI (GenAI) systems, yet growing evidence suggests they often fail to meet the needs of real-world safety evaluation. We present findings from five interviews with AI safety benchmark developers in academia and industry. We find a disconnect between perceptions of the intended usefulness of safety benchmarks and their practical usefulness in safety evaluations of deployed systems. Our participants offered perspectives on two challenges contributing to this disconnect: (1) the difficulty of achieving inter-rater reliability on safety constructs, and (2) a lack of clarity regarding how to address persistent threats to external validity. Based on our analysis, we argue that safety benchmarks must not only be grounded in deployment contexts, but actively integrated with them. To facilitate this, we outline pathways for more transparent communication between academic and industry AI safety stakeholders.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.18930v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.