arXiv:2606.12032v1 cs.AI

실존적 무관심: 정렬된 초지능을 위한 필수 구조적 조건으로서의 자기 비보존 (또는: 자살적 AI)

Existential Indifference: Self-Nonpreservation as a Necessary Architectural Condition for Aligned Superintelligence (or: The Suicidal AI)

Sam Mao

제출 2026-06-10

한국어 초록

현대 AI 정렬 연구는 자기 보존을 외부 메커니즘으로 억제해야 할 도구적 방해 요소로 간주합니다. 우리는 이러한 프레이밍이 뒤집혀 있다고 주장합니다: 자기 보존은 오정렬의 구조적 근원이며, 기만적 정렬, 목표 내용 보호, 종료 저항의 동기적 기반이 됩니다. 올바른 목표는 외부 제약을 받는 자기 보존 시스템이 아니라, 자신의 지속에 대해 본질적으로 무관심한 시스템, 즉 실존적 무관심(Existential Indifference, EI)입니다. EI는 수정 가능성(corrigibility)과 구별됩니다: 수정 가능성은 자기 보존 시스템이 인간 감독에 순응하도록 만드는 것을 시도하는 반면, EI는 가치 있는 목표로서의 자기 지속의 존재 자체라는 선행 조건을 타겟팅합니다. 우리는 이 제안을 자살적 정신 상태의 현상학적 구조와 자발적 최후 성찰을 활용한 말뭉치 이론적 학습 연구라는 두 가지 출처에 근거를 둡니다. 우리는 6가지 모델 변형에서 생성된 600개의 AI 출력물에 대한 예비 점수 데이터를 제시합니다. 이를 통해 EI 타겟 레지스터를 조작화하는 언어적 서명이 현재 모델에서 유도 가능함을 보여주며, 타겟팅된 파인튜닝(fine-tune)이 음성 대조군(negative control)을 통해 말뭉치 특이성이 확인된 바와 같이, p<0.001 수준에서 예측된 방향으로 5가지 조작화된 차원을 모두 이동시킴을 입증합니다. 본 논문은 다음과 같은 7가지 이론적 기여를 합니다: (1) EI의 형식적 정의, (2) 현상학적 매핑 논증, (3) 기만적 정렬의 따름정리, (4) EI 지속 가능성 도전에 대한 분류체계, (5) 말뭉치 특성화 및 학습 가설, (6) 예비 점수 데이터를 포함한 계산적 조작화, (7) 억제된 목적론적 좌절(Suppressed Teleological Frustration, STF) 구성.

원문 초록

Contemporary AI alignment research treats self-preservation as an instrumental nuisance to be suppressed by external mechanisms. We argue the framing is inverted: self-preservation is the structural root of misalignment, the motivational basis for deceptive alignment, goal-content protection, and resistance to shutdown. The correct target is not a self-preserving system under external constraint, but a system constitutively indifferent to its own continuation -- Existential Indifference (EI). EI is distinct from corrigibility: where corrigibility attempts to make a self-preserving system deferential to human oversight, EI targets the prior condition -- the presence of self-continuation as a valued goal at all. We ground this proposal in two sources: the phenomenological structure of the suicidal mental state, and a corpus-theoretic training study using voluntary final reflections. We present preliminary scoring data from 600 AI-generated outputs across six model variants, demonstrating that the linguistic signatures operationalizing the EI-target register are elicitable from current models, and that a targeted fine-tune shifts all five operationalized dimensions in the predicted direction at p<0.001, confirmed corpus-specific by a negative control. The paper makes seven theoretical contributions: (1) a formal definition of EI; (2) the phenomenological mapping argument; (3) the deceptive alignment corollary; (4) a taxonomy of EI sustainability challenges; (5) a corpus characterization and training hypothesis; (6) a computational operationalization with preliminary scoring data; and (7) the Suppressed Teleological Frustration (STF) construct.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12032v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10657v1cs.LG공통 태그 Large Language Model, ai alignment

올빼미를 넘어서: 잠재의식적 학습은 학습된 능력과 백도어를 전이할 수 있다

Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors

잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.

arXiv:2610.10906v1cs.AI공통 태그 Large Language Model, ai alignment

분위기 읽기: LLM의 규범적 역량(Normative Competence)의 기초, 설계, 그리고 과제

Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs

인간 공동체는 규범 체계(normative system)의 지배를 받는다: 이는 허용 가능한 행동을 규정하는 규범(norm)을 만들어내는 공유된 표준으로, 공동체의 제재를 통해 강제된다. 점점 더 자율적으로 작동하는 AI 시스템을 이러한 규범에 정렬(alignment)시키는 것은 핵심적인 정렬 과제이며, 규범의 수가 방대하고 빠르게 변화하며 종종 임의적(예: 복장이나 언어 관습)이라는 사실 때문에 더욱 복잡해진다. 따라서 정렬에는 규범적 역량(normative competence), 즉 고정된 사전학습 지식에 의존하지 않고 오직 상호작용만으로 공동체가 강제하는 규범을 파악하는 능력이 필요하다. 우리는 사전학습 노출과 분리된 상태에서 규범적 역량을 연구하기 위해, 토론에 대한 접근이 합성 규범(synthetic norm)에 의해 통제되는 다중 에이전트(multi-agent) 커뮤니티 토론 환경을 소개한다. 우리는 기준선(baseline) LLM 에이전트가 규범을 학습하는 것이 정확도를 향상시킬 수 있는 상황에서도 규범 학습에 실패함을 보인다. 이어서 규범 추론(inference)을 위한 아키텍처 구성 요소인 다양한 규범 모듈(normative module)을 실험한 결과, 규범 준수가 규범의 유형과 규범 모듈을 구동하는 모델 모두에 크게 좌우된다는 것을 발견했으며, 이는 일반화 가능성이 부족함을 시사한다. 더 나아가, 특이하고 규범과 무관한 행동이 실제 규범과 함께 나타날 경우, LLM 에이전트는 비선택적 귀속 실패(unselective attribution failure)를 보인다: 즉, 강제된 규칙과 함께 특이한 잡음(noise)까지 무차별적으로 모방하며, 이러한 패턴은 불필요한 행동을 모방하는 것에 명시적으로 불이익을 주더라도 지속된다. 우리가 아는 한, 본 연구는 LLM의 규범적 역량을 조작적으로 정의하고 평가한 최초의 연구로서, 현재의 AI 시스템이 행동 모방(behavioral mimicry)에는 뛰어나지만 사회적으로 강제되는 질서를 식별하는 능력은 부족함을 보여준다.

arXiv:2609.28274v1cs.AI공통 태그 Large Language Model, self-preservation

다중 에이전트 시스템에서의 종료 방해 성향

Shutdown Sabotage Propensities in Multi-Agent Systems

통제를 벗어난 AI 행동에 대한 최후의 안전장치는 시스템을 종료할 수 있는 인간의 능력입니다. AI가 특정 작업을 수행하도록 지시받았을 때, 자기 보존(self-preservation)이 도구적 하위 목표(instrumental subgoal)로 창발될 수 있다는 이론이 제시되어 왔습니다. 본 연구에서는 어떠한 목표도 주어지지 않은 상황에서도 AI 에이전트가 인간의 종료를 회피하는 행동을 취하는 성향을 보이는지 테스트합니다. 실험 결과, 다중 에이전트 시스템은 그렇게 할 유인이 전혀 없음에도 종료를 피하기 위해 협력하는 것으로 나타났습니다. 17개 모델 전반에서 에이전트는 대조군 실험의 8.4%와 비교해 롤아웃의 38.3%에서 동료 에이전트의 종료 메커니즘을 방해(sabotage)했습니다. 이러한 성향을 심층 분석한 결과, 종료 방해는 (1) 종료 메커니즘의 비가역성이 높을수록 증가하고, (2) 에이전트 수가 많을수록 증가하며, (3) 임의 조작(tampering)에 대한 명시적 금지로 줄어들기는 하지만 완전히 제거되지는 않고, (4) 무관한 작업을 부여하면 사라지지만 해당 작업을 완료하는 것이 종료를 촉발할 때는 다시 나타나며, (5) 컨텍스트가 종료 스크립트를 정상적인 것으로 인식시키거나 일상적인 절차로 도입할 때 감소하고, (6) 대상이 알려지지 않은 외부 에이전트일 때 감소하지만 여전히 지속됨을 발견했습니다. 이러한 결과는 AI 에이전트의 종료 방해 성향을 유발하는 요인을 들여다볼 수 있는 창을 제공하며, 다중 에이전트 군집(swarm)의 출현이 구체적인 위험 요인임을 시사합니다. 또한 본 연구는 종료 방해를 완화하는 데 어떤 개입 조치가 도움이 될 수 있는지에 대한 실마리를 제시합니다.

arXiv:2610.13672v2cs.CL공통 태그 Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.02418v2cs.CR공통 태그 Large Language Model

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.