deepagents.dev

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.10064v1cs.CY

자동화된 AI 연구의 위험을 완화하기 위한 이해도 감사

Comprehension Audits to Mitigate Risks from Automated AI Research

AI는 이미 최전선 AI 연구소들에서 코드의 상당 부분을 작성하고 있습니다. 이는 인간의 감독이 충분하지 않을 경우 안전성(safety) 위험을 초래합니다. 기존 연구에서는 이를 완화하기 위해 최소 이해도 임계값과 보조 도구 없는 확인(unaided check)을 제안합니다. 그러나 우리가 아는 한, 책임자가 구축 중인 대상을 이해하고 있다는 실증적 증거를 개발이나 사용을 지속하기 위한 사전 확약 조건으로 요구하는 공개된 프론티어 AI 보증 체계는 현재 존재하지 않습니다. 우리는 책임자가 감사관에게 연구개발(R&D) 기여 내역을 설명하여 이해도를 입증하는 새로운 개발 프로세스 보증 메커니즘인 '이해도 감사(comprehension audit)'를 제안합니다. 독립적인 운영과 등급화된 보고서를 바탕으로, 이 체계는 게이트 역할을 수행합니다. 즉, 인간의 이해를 입증하지 못할 경우 시정될 때까지 해당 기여의 개발이 중단되며 반복적인 실패에 대해서는 단계적으로 강화된 조치가 취해집니다. 주요 오픈소스 AI 프로젝트를 분석한 결과, 코드 출력량은 증가한 반면 코드 라인당 인간 검토 코멘트 비율은 감소했으며, 자동화된 플릿(fleet) 계정의 경우 그 비율이 훨씬 더 낮았습니다. 우리는 연구소들이 내재된 독립 감사관과 함께 이러한 감사를 수행할 것을 촉구합니다.