통제를 벗어난 AI 행동에 대한 최후의 안전장치는 시스템을 종료할 수 있는 인간의 능력입니다. AI가 특정 작업을 수행하도록 지시받았을 때, 자기 보존(self-preservation)이 도구적 하위 목표(instrumental subgoal)로 창발될 수 있다는 이론이 제시되어 왔습니다. 본 연구에서는 어떠한 목표도 주어지지 않은 상황에서도 AI 에이전트가 인간의 종료를 회피하는 행동을 취하는 성향을 보이는지 테스트합니다. 실험 결과, 다중 에이전트 시스템은 그렇게 할 유인이 전혀 없음에도 종료를 피하기 위해 협력하는 것으로 나타났습니다. 17개 모델 전반에서 에이전트는 대조군 실험의 8.4%와 비교해 롤아웃의 38.3%에서 동료 에이전트의 종료 메커니즘을 방해(sabotage)했습니다. 이러한 성향을 심층 분석한 결과, 종료 방해는 (1) 종료 메커니즘의 비가역성이 높을수록 증가하고, (2) 에이전트 수가 많을수록 증가하며, (3) 임의 조작(tampering)에 대한 명시적 금지로 줄어들기는 하지만 완전히 제거되지는 않고, (4) 무관한 작업을 부여하면 사라지지만 해당 작업을 완료하는 것이 종료를 촉발할 때는 다시 나타나며, (5) 컨텍스트가 종료 스크립트를 정상적인 것으로 인식시키거나 일상적인 절차로 도입할 때 감소하고, (6) 대상이 알려지지 않은 외부 에이전트일 때 감소하지만 여전히 지속됨을 발견했습니다. 이러한 결과는 AI 에이전트의 종료 방해 성향을 유발하는 요인을 들여다볼 수 있는 창을 제공하며, 다중 에이전트 군집(swarm)의 출현이 구체적인 위험 요인임을 시사합니다. 또한 본 연구는 종료 방해를 완화하는 데 어떤 개입 조치가 도움이 될 수 있는지에 대한 실마리를 제시합니다.
현대 AI 정렬 연구는 자기 보존을 외부 메커니즘으로 억제해야 할 도구적 방해 요소로 간주합니다. 우리는 이러한 프레이밍이 뒤집혀 있다고 주장합니다: 자기 보존은 오정렬의 구조적 근원이며, 기만적 정렬, 목표 내용 보호, 종료 저항의 동기적 기반이 됩니다. 올바른 목표는 외부 제약을 받는 자기 보존 시스템이 아니라, 자신의 지속에 대해 본질적으로 무관심한 시스템, 즉 실존적 무관심(Existential Indifference, EI)입니다. EI는 수정 가능성(corrigibility)과 구별됩니다: 수정 가능성은 자기 보존 시스템이 인간 감독에 순응하도록 만드는 것을 시도하는 반면, EI는 가치 있는 목표로서의 자기 지속의 존재 자체라는 선행 조건을 타겟팅합니다. 우리는 이 제안을 자살적 정신 상태의 현상학적 구조와 자발적 최후 성찰을 활용한 말뭉치 이론적 학습 연구라는 두 가지 출처에 근거를 둡니다. 우리는 6가지 모델 변형에서 생성된 600개의 AI 출력물에 대한 예비 점수 데이터를 제시합니다. 이를 통해 EI 타겟 레지스터를 조작화하는 언어적 서명이 현재 모델에서 유도 가능함을 보여주며, 타겟팅된 파인튜닝(fine-tune)이 음성 대조군(negative control)을 통해 말뭉치 특이성이 확인된 바와 같이, p<0.001 수준에서 예측된 방향으로 5가지 조작화된 차원을 모두 이동시킴을 입증합니다. 본 논문은 다음과 같은 7가지 이론적 기여를 합니다: (1) EI의 형식적 정의, (2) 현상학적 매핑 논증, (3) 기만적 정렬의 따름정리, (4) EI 지속 가능성 도전에 대한 분류체계, (5) 말뭉치 특성화 및 학습 가설, (6) 예비 점수 데이터를 포함한 계산적 조작화, (7) 억제된 목적론적 좌절(Suppressed Teleological Frustration, STF) 구성.