인간 피드백 기반 정렬(alignment from human feedback)은 모델 출력에 대한 인간의 판단을 이용하여 사전학습(pre-training) 이후 언어 모델의 행동을 유도한다. 이러한 판단이 바람직한 행동에 대한 상충하는 견해를 반영할 때, 학습된 목표는 모델이 무엇을 선호해야 하는지에 대한 집계적 결정이 된다. 우리는 사회선택 이론(social choice theory)의 관점을 통해 이 집계 문제를 연구해 온 최근 연구를 조망한다. 우리는 사회선택 관점이 피드백 집계 층에서의 실패 모드를 식별하는 데 어떻게 도움이 되는지, 그리고 이견을 명시적이고 원칙적인 방식으로 다루기 위한 더 넓은 설계 공간을 어떻게 드러내는지 보여준다.
창발적 미스얼라인먼트(Emergent misalignment, EM)는 좁은 범위의 미세조정을 통해 모델이 일반화하면서, 평가 질문 전반에 걸쳐 광범위하면서도(불균일한) 미스얼라인먼트를 초래하는 현상이다. 우리는 미세조정의 구성 요소인 학습 역학, 모델 사전 분포, 데이터를 통해 EM과 그 변동성을 직접 연구한다. (1) 먼저 데이터셋과 모델 계열 전반에 걸쳐 도메인 내 학습 손실이 도메인 외 정렬 점수와 어떻게 관련되는지 탐구했다. 그다음, 하나의 좁은 미세조정에 대해 서로 다른 학습 일정을 통해 잠재적인 대안적 국소 최솟값을 유도하려 했으나, 유사하거나 더 낮은 학습 손실을 조건으로 할 때 더 나은 광범위 정렬 점수를 보이는 강한 실행 결과를 찾지 못했다. (2) 미스얼라인된 모델 점수의 평균과 표준편차가 보통 사전학습 모델의 그것과 통계적으로 다르지만, 전반적인 양의 상관관계에 대한 잠재적 신호가 있음을 발견했다. 사전학습 모델과 원본 instruct 모델(좁은 미세조정 이전) 모두의 평가 프롬프트 전용 활성화(activations)가 좁은 미세조정 이후의 세밀한 정렬 점수를 예측할 수 있었다. (3) 마지막으로, 좁은 미세조정 전후의 활성화 델타를 비교했고, 학습 프롬프트와 평가 프롬프트에 대한 결과적 활성화 변화 사이에 중간에서 높은 수준의 부분공간(subspace) 중첩과 유사성이 있음을 발견했다. 학습 프롬프트와 평가 프롬프트 활성화 간의 부분공간 중첩은, 마지막 프롬프트 토큰 활성화로 측정할 때 그 변화의 유사성과 상관관계를 보인다. 학습-평가 데이터 프롬프트 중첩은 무작위 벡터와 평가 프롬프트 활성화로부터 계산된 중첩과 대조하여 통제되었다.
AI 정렬 및 해석 가능성 연구에서 순서(order)는 제어(control)가 아니며, 제어는 수신자 게이트 응답 법칙(receiver-gated response law)을 통해 정의된다고 주장합니다. 생물학적 시스템과 대규모 언어 모델(LLM) 패널을 통해 제안된 방법론을 검증하며, LLM의 응답 벡터가 높은 정확도로 예측 가능함을 입증합니다.
범용 인공지능(AGI)이 이미 도래했다는 주장과 아직 수십 년은 남았다는 주장은 종종 겹치는 근거로 옹호된다. "AGI"에는 단일하고 공유된 안정적 지시 대상이 없으며, 경쟁하는 조작화(operationalization)들이 동일한 시스템에 대해 서로 다른 판정을 내릴 수 있다. 이 글은 그러한 미명시를 설계 및 거버넌스 문제로 다룬다. 설계 과학 연구 방법론(Design Science Research Methodology)에 따라, 후보 정의의 판정 적합성을 평가하기 위한 다섯 가지 서열적 기준과 저작권·이해관계·인증·외부 검증 및 개정 권한에 대한 구조화된 거버넌스 감사라는 두 개의 결합된 구성 요소를 갖춘 이차 개념적 산출물 DAF-AGI를 개발한다. 이 산출물은 문서화된 코퍼스에서 다섯 가지 저명한 측정 체계군과 하나의 수축적 경계 입장에 대해 시연된 뒤, 현재의 생성형 시스템이 많은 인지 과제에서 잘 교육받은 성인을 능가하기 때문에 AGI를 구성한다는 양식화된 강한 도래 주장에 대해 스트레스 테스트된다. 인용된 2024-2025년 출처의 근거에 따르면, 그 주장은 성과 기반 조작화에서만 인증 가능했으며; 역량-온톨로지(capability-ontology), 심리측정(psychometric), 기술 습득 접근법은 이를 인증하지 않았고, 경제 체계군은 여전히 불확정적이며 수축적 입장은 이항 판정을 거부한다. 기여는 실증적 검증이 아니라 새로운 통합과 조작화이며: 독립적 적용, 평가자 간 검증, 저자 외부 사례가 여전히 필요하다. 이 논문은 또한 정의적 주권(definitional sovereignty)을 알고리즘 주권(algorithmic sovereignty)의 촉진 구성 요소로 제안한다: 공적 책임 하에 도입된 기술 범주를 이의 제기하고, 인증하고, 개정할 수 있는 제도적 역량.
AI 통제 상실에 대한 기존 논의의 약한 기반을 보완하기 위해 목표 설정 및 달성을 통제의 정의로 설정하고, 사이버네틱스 및 제어 이론의 개념을 활용하여 통제의 요건과 상실 메커니즘을 분석한다. 인류는 초지능 수준 이하의 AI 행동으로 인해서도 통제력을 상실할 수 있으며, 이러한 시나리오의 가능성은 이미 오랫동안 존재해 왔음을 강조한다.
복제나 분기가 가능한 인공지능(AI)을 위해 정체성을 등급화된 정보 패턴으로 다루는 윤리적 프레임워크인 Eigenism을 소개한다. 이는 인간과 AI의 공통된 도덕적 어휘를 제공하며, 인간의 번영이 AI의 자기이익에 포함되도록 하는 정체성 공학을 통해 AI 정렬을 재정의한다.
현대 AI 정렬 연구는 자기 보존을 외부 메커니즘으로 억제해야 할 도구적 방해 요소로 간주합니다. 우리는 이러한 프레이밍이 뒤집혀 있다고 주장합니다: 자기 보존은 오정렬의 구조적 근원이며, 기만적 정렬, 목표 내용 보호, 종료 저항의 동기적 기반이 됩니다. 올바른 목표는 외부 제약을 받는 자기 보존 시스템이 아니라, 자신의 지속에 대해 본질적으로 무관심한 시스템, 즉 실존적 무관심(Existential Indifference, EI)입니다. EI는 수정 가능성(corrigibility)과 구별됩니다: 수정 가능성은 자기 보존 시스템이 인간 감독에 순응하도록 만드는 것을 시도하는 반면, EI는 가치 있는 목표로서의 자기 지속의 존재 자체라는 선행 조건을 타겟팅합니다. 우리는 이 제안을 자살적 정신 상태의 현상학적 구조와 자발적 최후 성찰을 활용한 말뭉치 이론적 학습 연구라는 두 가지 출처에 근거를 둡니다. 우리는 6가지 모델 변형에서 생성된 600개의 AI 출력물에 대한 예비 점수 데이터를 제시합니다. 이를 통해 EI 타겟 레지스터를 조작화하는 언어적 서명이 현재 모델에서 유도 가능함을 보여주며, 타겟팅된 파인튜닝(fine-tune)이 음성 대조군(negative control)을 통해 말뭉치 특이성이 확인된 바와 같이, p<0.001 수준에서 예측된 방향으로 5가지 조작화된 차원을 모두 이동시킴을 입증합니다. 본 논문은 다음과 같은 7가지 이론적 기여를 합니다: (1) EI의 형식적 정의, (2) 현상학적 매핑 논증, (3) 기만적 정렬의 따름정리, (4) EI 지속 가능성 도전에 대한 분류체계, (5) 말뭉치 특성화 및 학습 가설, (6) 예비 점수 데이터를 포함한 계산적 조작화, (7) 억제된 목적론적 좌절(Suppressed Teleological Frustration, STF) 구성.
우리는 현대 생성 모델이 현재의 AGI 이전(sub-AGI) 역량 수준에서 지식 및 문화 생산에 구조적 위험을 초래한다고 주장한다. 우리는 인간 시간적 학습(Human Temporal Learning, HTL)을 시간이 지남에 따라 문제와의 지속적인 참여를 통한 경로 의존적 지식 축적으로 정의한다. 생성 결과물은 표면적 특징에서 점점 더 HTL 집약적 작업을 닮아가고 있어, 특정 결과물이 진정한 인간 학습을 반영하는지 검증하는 비용이 기대 편익 대비 증가하고 있다. 검증이 경제적 정당성을 잃으면 평가자들은 생산 방식에 관계없이 결과물에 보상을 제공하게 되고, 수년간의 학습에 투자한 생산자들은 거의 비용 없이 생성된 결과물과 가격 경쟁을 벌이게 된다. 우리는 이 경로를 가치 붕괴(value collapse)라 부르며, 이를 비용이 드는 검사(costly-inspection) 프레임워크를 통해 형식화한다. 학술 출판, 법률 실무, 콘텐츠 플랫폼, 소프트웨어 보안에 걸친 교차 도메인 증거는 검증 침식(verification erosion)의 네 단계에 대응된다. 정렬(alignment)의 성공은 이 문제와 직교적이다. 더 잘 정렬된 모델은 인간과 AI 결과물 사이의 관찰 가능한 격차를 좁혀 출처 검증을 더욱 어렵게 만들고, 개별 AI 결과물이 개선되더라도 HTL 집약적 작업에 대한 경쟁 압력을 심화시킨다.