arXiv:2610.10064v1 cs.CY

자동화된 AI 연구의 위험을 완화하기 위한 이해도 감사

Comprehension Audits to Mitigate Risks from Automated AI Research

Ronald J. Bodkin, Bahrad A. Sokhansanj, Gillian K. Hadfield

제출 2026-10-07

저자 비고

arXiv Comments

23 pages, 2 figures, 11 tables

한국어 초록

AI는 이미 최전선 AI 연구소들에서 코드의 상당 부분을 작성하고 있습니다. 이는 인간의 감독이 충분하지 않을 경우 안전성(safety) 위험을 초래합니다. 기존 연구에서는 이를 완화하기 위해 최소 이해도 임계값과 보조 도구 없는 확인(unaided check)을 제안합니다. 그러나 우리가 아는 한, 책임자가 구축 중인 대상을 이해하고 있다는 실증적 증거를 개발이나 사용을 지속하기 위한 사전 확약 조건으로 요구하는 공개된 프론티어 AI 보증 체계는 현재 존재하지 않습니다. 우리는 책임자가 감사관에게 연구개발(R&D) 기여 내역을 설명하여 이해도를 입증하는 새로운 개발 프로세스 보증 메커니즘인 '이해도 감사(comprehension audit)'를 제안합니다. 독립적인 운영과 등급화된 보고서를 바탕으로, 이 체계는 게이트 역할을 수행합니다. 즉, 인간의 이해를 입증하지 못할 경우 시정될 때까지 해당 기여의 개발이 중단되며 반복적인 실패에 대해서는 단계적으로 강화된 조치가 취해집니다. 주요 오픈소스 AI 프로젝트를 분석한 결과, 코드 출력량은 증가한 반면 코드 라인당 인간 검토 코멘트 비율은 감소했으며, 자동화된 플릿(fleet) 계정의 경우 그 비율이 훨씬 더 낮았습니다. 우리는 연구소들이 내재된 독립 감사관과 함께 이러한 감사를 수행할 것을 촉구합니다.

원문 초록

AI is already writing a majority of code for frontier AI labs. This creates a safety risk if there is insufficient human oversight. Existing work proposes minimum comprehension thresholds and unaided checks to mitigate this. To our knowledge, however, there is currently no published frontier-AI assurance regime that requires demonstrated evidence that the responsible humans understand what they are building as a precommitted condition for continuing development or usage. We propose comprehension audits, a novel development-process assurance mechanism in which the responsible people explain R&D contributions to auditors to demonstrate understanding. With independent administration and graded reports, they provide a gate: development of a contribution stops based on a failure to demonstrate human understanding until remediated, with escalating consequences for repeated failures. Our analysis of leading open-source AI projects finds increased output of code with reduced human review commentary rates per line of code, with far lower rates for automated fleet accounts. We advocate for labs to conduct them with embedded independent auditors.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10064v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.