PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.20628v2cs.AI

언제 비신뢰 모니터링을 신뢰할 수 있는가? 공모 전략 전반에 대한 안전성 논증 스케치

When can we trust untrusted monitoring? A safety case sketch across collusion strategies

AI는 점점 더 큰 자율성과 능력을 갖춘 채 배포되고 있어, 정렬되지 않은 AI가 재앙적 피해를 일으킬 수 있는 위험이 커지고 있다. 비신뢰 모니터링(untrusted monitoring)—신뢰할 수 없는 하나의 모델로 다른 모델을 감독하는 방식—은 위험을 줄이는 접근법 중 하나이다. 비신뢰 모니터링 배포의 안전성을 정당화하기는 어렵다. 개발자는 프로토콜을 직접 검증하기 위해 정렬되지 않은 모델을 안전하게 배포할 수 없기 때문이다. 본 논문에서는 배포 전 테스트에 기반하여 안전성을 엄밀하게 입증하는 기존 방법을 발전시킨다. 정렬되지 않은 AI가 비신뢰 모니터링을 무력화하기 위해 쓸 수 있는 공모(collusion) 전략에 대해 이전 AI 통제(control) 연구가 두었던 가정을 완화한다. 수동적 자기 인식(passive self-recognition), 인과적 공모(causal collusion, 사전 공유 신호 은폐), 비인과적 공모(acausal collusion, 셸링점(Schelling point)을 통한 신호 은폐), 결합 전략을 아우르는 분류체계를 제안한다. 논증을 분명히 제시하고 가정을 명시하며 미해결 과제를 강조하기 위해 안전성 논증 스케치(safety case sketch)를 작성한다. 수동적 자기 인식이 이전에 연구된 전략보다 더 효과적인 공모 전략이 될 수 있는 조건을 밝힌다. 본 연구는 비신뢰 모니터링에 대한 더 견고한 평가를 향한 기반을 마련한다.