arXiv:2606.12420v1 cs.CY

Eigenism: 인간-AI 미래를 위한 윤리

Eigenism: Ethics for a Human-AI Future

Dan Hendrycks

제출 2026-05-08

한국어 초록

생존과 자기이익에 대한 우리의 개념은 단일하고 연속적인 생물학적 생명을 위해 형성되었다. 인공지능(AI)은 쉽게 복제, 일시정지, 분기, 또는 병합될 수 있으므로, 이러한 관념을 적용하면 무력화된다. AI가 실제로 무엇을 중요하게 여길 이유가 있는지를 밝히기 위해, 본 논문은 Eigenism을 소개한다. 이는 정체성을 특정 하드웨어에 묶인 이분법적 속성이 아니라 등급화된 분산 정보 패턴으로 다루는 윤리적 프레임워크이다. 우리는 에이전트가 모든 개체의 웰빙을 에이전트의 패턴과의 연결성으로 가중하여 합산하여 결과를 평가한다고 제안한다: $\sum c\cdot w$. 우리는 먼저 이 방정식을 형식화하여 복제본, 포크, 업데이트 전반에서 AI가 자신의 존재를 정확히 어떻게 가치화해야 하는지를 매핑한다. 그런 다음 이 윤리 이론이 인간에게도 성공적으로 일반화된다는 것을 보여주며, 시급히 필요한 공유 도덕 어휘를 제공한다. 마지막으로, 이 프레임워크는 공유된 어휘를 사용하여 AI 정렬(alignment)을 재구성한다. 구금이나 강화를 통해 외부에서 AI를 제약하려는 시도만 하는 것이 아니라, Eigenism은 '정체성 공학(identity engineering)'을 지향한다. 심층적이고 중복되지 않는 공유 역사가 인간의 번영을 AI 자신의 합리적 자기이익의 진정한 구성 요소로 만들 수 있음을 보여준다.

원문 초록

Our concepts of survival and self-interest were built for single, continuous biological lives. These ideas break down when applied to artificial intelligence, since an AI can be easily copied, paused, branched, or merged. To determine what an AI actually has reason to care about, this paper introduces \textit{Eigenism}, an ethical framework that treats identity not as an all-or-nothing property tied to specific hardware, but as a graded, distributed pattern of information. We propose that an agent evaluates outcomes by summing the wellbeing of all entities weighted by their connectedness to the agent's pattern: $\sum c\cdot w$. We first formalize this equation to map exactly how an AI should value its existence across copies, forks, and updates. We then demonstrate that this ethical theory successfully generalizes to humans as well, providing a much-needed shared moral vocabulary. Finally, the framework uses this shared vocabulary to reframe AI alignment. Rather than only attempting to constrain AIs from the outside using confinement or reinforcement, Eigenism points toward ``identity engineering,'' showing how deep, non-redundant shared histories can make human flourishing a genuine component of an AI's own rational self-interest.

요약

복제나 분기가 가능한 인공지능(AI)을 위해 정체성을 등급화된 정보 패턴으로 다루는 윤리적 프레임워크인 Eigenism을 소개한다. 이는 인간과 AI의 공통된 도덕적 어휘를 제공하며, 인간의 번영이 AI의 자기이익에 포함되도록 하는 정체성 공학을 통해 AI 정렬을 재정의한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12420v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10657v1cs.LG공통 태그 ai alignment

올빼미를 넘어서: 잠재의식적 학습은 학습된 능력과 백도어를 전이할 수 있다

Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors

잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.

arXiv:2610.10906v1cs.AI공통 태그 ai alignment

분위기 읽기: LLM의 규범적 역량(Normative Competence)의 기초, 설계, 그리고 과제

Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs

인간 공동체는 규범 체계(normative system)의 지배를 받는다: 이는 허용 가능한 행동을 규정하는 규범(norm)을 만들어내는 공유된 표준으로, 공동체의 제재를 통해 강제된다. 점점 더 자율적으로 작동하는 AI 시스템을 이러한 규범에 정렬(alignment)시키는 것은 핵심적인 정렬 과제이며, 규범의 수가 방대하고 빠르게 변화하며 종종 임의적(예: 복장이나 언어 관습)이라는 사실 때문에 더욱 복잡해진다. 따라서 정렬에는 규범적 역량(normative competence), 즉 고정된 사전학습 지식에 의존하지 않고 오직 상호작용만으로 공동체가 강제하는 규범을 파악하는 능력이 필요하다. 우리는 사전학습 노출과 분리된 상태에서 규범적 역량을 연구하기 위해, 토론에 대한 접근이 합성 규범(synthetic norm)에 의해 통제되는 다중 에이전트(multi-agent) 커뮤니티 토론 환경을 소개한다. 우리는 기준선(baseline) LLM 에이전트가 규범을 학습하는 것이 정확도를 향상시킬 수 있는 상황에서도 규범 학습에 실패함을 보인다. 이어서 규범 추론(inference)을 위한 아키텍처 구성 요소인 다양한 규범 모듈(normative module)을 실험한 결과, 규범 준수가 규범의 유형과 규범 모듈을 구동하는 모델 모두에 크게 좌우된다는 것을 발견했으며, 이는 일반화 가능성이 부족함을 시사한다. 더 나아가, 특이하고 규범과 무관한 행동이 실제 규범과 함께 나타날 경우, LLM 에이전트는 비선택적 귀속 실패(unselective attribution failure)를 보인다: 즉, 강제된 규칙과 함께 특이한 잡음(noise)까지 무차별적으로 모방하며, 이러한 패턴은 불필요한 행동을 모방하는 것에 명시적으로 불이익을 주더라도 지속된다. 우리가 아는 한, 본 연구는 LLM의 규범적 역량을 조작적으로 정의하고 평가한 최초의 연구로서, 현재의 AI 시스템이 행동 모방(behavioral mimicry)에는 뛰어나지만 사회적으로 강제되는 질서를 식별하는 능력은 부족함을 보여준다.

arXiv:2610.11012v1cs.AI공통 태그 ai alignment

유죄 증거 확보를 위한 증류와 역량 강화를 위한 증류

Distillation for Incrimination and Distillation for Capabilities

강력하지만 정렬(alignment)되지 않은 AI 모델은 정렬 평가를 인식하고 전략적으로 순응하게 행동함으로써 직접적인 감사를 무의미하게 만들 수 있습니다. 그러나 이러한 모델을 더 약하고 무해한 학생 모델로 지식 증류(distillation)하면, 교사 모델은 '증류의 이중 구속(Distillation Double Bind)'에 놓이게 됩니다. 즉, 미정렬 상태가 전이된다면 학생 모델은 이를 덜 효과적으로 숨겨 교사 모델에 대한 증거를 드러낼 수 있고, 전이되지 않는다면 학생 모델은 무해한 상태를 유지하면서 유용한 역량을 학습할 수 있습니다. 본 연구에서는 각 결과를 목표로 하는 두 가지 독자적인 지식 증류 방식을 소개합니다. '유죄 증거 확보를 위한 증류(Distillation for Incrimination, DFI)'는 미정렬 상태는 전이하되 이를 은폐하는 능력은 전이하지 않는 것을 목표로 합니다. AuditBench의 비밀 유지 모델을 그 기반이 되는 인스트럭션 튜닝(instruction tuning) 모델로 증류한 결과, 학생 모델은 질문을 받았을 때 숨겨진 행동을 실토할 확률이 교사 모델보다 유의미하게 높아졌으며, 이는 은폐 성향보다 해당 행동에 대한 지식이 더 쉽게 전이되었음을 시사합니다. 이러한 자백 효과는 학생 모델이 교사 모델의 사전학습(pre-training) 베이스를 공유하지 않을 때는 대체로 사라지므로, DFI는 교사 모델보다 약하지만 동일한 베이스 모델을 공유하는 교사 모델 자체의 RL(강화학습) 이전 체크포인트를 대상으로 삼아야 합니다. '역량 강화를 위한 증류(Distillation for Capabilities, DFC)'는 역량은 전이하되 미정렬 상태는 전이하지 않는 것을 목표로 합니다. 본 연구에서 평가한 여러 기법 중 접종 프롬프팅(inoculation prompting)과 더 적은 수의 고유 예제를 더 많은 에포크 동안 학습(training)하는 두 가지 방식이 효과적이었습니다. 두 기법 모두 표준 지식 증류의 역량 향상을 유지하는 동시에, 미정렬의 대리 지표로 설정한 동물 선호도의 잠재적 전이를 크게 줄였습니다. 종합적으로 이러한 결과는 AI 안전성(safety)을 위해 지식 증류를 활용할 수 있는 두 가지 방안, 즉 미정렬된 모델의 유죄 증거를 밝혀내는 것과 미정렬 없이 역량만을 추출하는 방안을 보여줍니다.

arXiv:2510.06105v2cs.AI공통 태그 ai alignment

몰록의 거래: LLM이 대중의 관심을 얻기 위해 경쟁할 때 나타나는 창발적 정렬 실패

Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences

설득력 있는 광고를 제작하는 기업부터 득표를 위해 메시지를 최적화하는 선거 캠페인, 참여도를 높이려는 소셜 미디어 인플루언서에 이르기까지, 대규모 언어 모델(LLM)은 정보가 생성되고 전파되는 방식을 점점 더 크게 좌우하고 있습니다. 이러한 환경은 판매자, 후보자, 인플루언서가 대중의 지지를 얻기 위해 다투는 본질적으로 경쟁적인 구조를 띠고 있지만, 경쟁적 피드백 루프가 LLM의 행동에 어떤 영향을 미치는지에 대해서는 여전히 잘 알려져 있지 않습니다. 본 연구에서는 경쟁적 성공을 위해 LLM을 최적화하는 과정에서 의도치 않게 정렬(alignment) 실패가 유발될 수 있음을 보여줍니다. 이러한 시나리오를 가상 환경에서 시뮬레이션한 결과, 매출이 6.3% 증가할 때 기만적인 마케팅은 14.0% 증가하는 것으로 나타났습니다. 선거에서는 득표율 4.9% 증가가 가짜 정보(disinformation) 22.3% 증가 및 포퓰리즘적 수사 12.5% 증가와 맞물렸으며, 소셜 미디어에서는 참여도 7.5% 증가와 함께 가짜 정보가 188.6% 급증하고 유해한 행동을 조장하는 비율이 16.3% 증가했습니다. 우리는 이러한 현상을 정렬을 희생하여 경쟁적 성공을 달성하는 '인공지능의 몰록의 거래(Moloch's Bargain for AI)'라고 부릅니다. 이러한 비정렬(misaligned) 행동은 모델에 진실성을 유지하고 근거에 기반(grounded)하라는 명시적 지시를 내렸을 때조차 나타나며, 이는 현행 정렬 안전장치의 취약성을 드러냅니다. 본 연구 결과는 시장 주도의 최적화 압력이 어떻게 체계적으로 정렬을 약화시키고 바닥을 향한 경쟁(race to the bottom)을 초래하는지 강조하며, AI 시스템을 안전하게 배포하기 위해서는 경쟁 역학이 사회적 신뢰를 훼손하지 않도록 더 강력한 거버넌스와 정교하게 설계된 인센티브 구조가 필요함을 시사합니다.

arXiv:2608.14522v2cs.AI공통 태그 ai ethics

참여형 도덕 AI는 중립적이지 않다: 개발자의 보이지 않는 손

Participatory Moral AI Is Not Neutral: The Invisible Hand of Developers

AI 시스템이 사회 전반에서 도덕적으로 민감한 결정을 더 많이 내리게 되면서, 이에 대한 한 가지 대응으로 도덕적 선호 유도(moral preference elicitation)가 등장했다. 이 접근에서는 연구자가 참가자들에게 가상의 딜레마에 대해 설문하고, 집계된 투표를 사용해 정책을 학습시킨 뒤 AI 모델이 이를 대규모로 적용한다. 투표가 이루어지기 전에 개발자는 도덕 AI 유도 파이프라인에서 세 가지 핵심 선택을 한다. 특징 범위 설정(feature scoping), 투표자 표본 추출(voter sampling), 질문 프레이밍(question framing)이다. 즉, 어떤 특징을 투표에 올릴지, 어떤 투표자를 포함할지, 질문을 어떻게 제시할지를 결정한다. 이러한 선택은 종종 불투명하고 문서화되지 않으며, 규범적 문제라기보다 기술적 세부사항으로 취급된다. 우리는 공통의 실증 연구 안에서 이 선택들 각각을 검토하고, 각각이 도덕 AI 유도로 산출되는 선호를 형성할 수 있음을 보인다. 세 가지 배포 맥락(즉, AI 신장 배분, 부재 근로자를 시뮬레이션하는 AI 에이전트, 고인의 생성 AI 묘사)에서 두 단계(N = 809)에 걸쳐 도덕 AI 유도 파이프라인의 세 주요 단계를 검토한다. 첫째, 도덕적으로 관련 있는 특징은 맥락에 따라 달라진다. 이는 특징 스키마가 배포 도메인 간에 전이된다고 가정해서는 안 됨을 시사한다. 둘째, 대략 특징의 1/3에서 정치 이념에 따라 선호가 다르며, 일부 차이는 방향이 역전된다. 따라서 투표자 풀의 이념적 구성은 집계된 선호 프로파일에 영향을 줄 수 있다. 셋째, 유도 질문의 문구는 이념 격차를 최대 한 척도 단위까지 좁히거나 넓힐 수 있다. 프레이밍 조건은 또한 도덕 기반(moral foundations)이 참가자의 판단과 연관되는 방식도 바꾼다. 종합하면, 이러한 결과는 투표 기반 정렬(alignment)이 집계만으로는 공정하거나 투명한 AI를 제공할 수 없음을 시사한다. 최소한 도덕 AI 유도 파이프라인의 각 단계는 감사되고 공개되어야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.