강력하지만 정렬(alignment)되지 않은 AI 모델은 정렬 평가를 인식하고 전략적으로 순응하게 행동함으로써 직접적인 감사를 무의미하게 만들 수 있습니다. 그러나 이러한 모델을 더 약하고 무해한 학생 모델로 지식 증류(distillation)하면, 교사 모델은 '증류의 이중 구속(Distillation Double Bind)'에 놓이게 됩니다. 즉, 미정렬 상태가 전이된다면 학생 모델은 이를 덜 효과적으로 숨겨 교사 모델에 대한 증거를 드러낼 수 있고, 전이되지 않는다면 학생 모델은 무해한 상태를 유지하면서 유용한 역량을 학습할 수 있습니다. 본 연구에서는 각 결과를 목표로 하는 두 가지 독자적인 지식 증류 방식을 소개합니다. '유죄 증거 확보를 위한 증류(Distillation for Incrimination, DFI)'는 미정렬 상태는 전이하되 이를 은폐하는 능력은 전이하지 않는 것을 목표로 합니다. AuditBench의 비밀 유지 모델을 그 기반이 되는 인스트럭션 튜닝(instruction tuning) 모델로 증류한 결과, 학생 모델은 질문을 받았을 때 숨겨진 행동을 실토할 확률이 교사 모델보다 유의미하게 높아졌으며, 이는 은폐 성향보다 해당 행동에 대한 지식이 더 쉽게 전이되었음을 시사합니다. 이러한 자백 효과는 학생 모델이 교사 모델의 사전학습(pre-training) 베이스를 공유하지 않을 때는 대체로 사라지므로, DFI는 교사 모델보다 약하지만 동일한 베이스 모델을 공유하는 교사 모델 자체의 RL(강화학습) 이전 체크포인트를 대상으로 삼아야 합니다. '역량 강화를 위한 증류(Distillation for Capabilities, DFC)'는 역량은 전이하되 미정렬 상태는 전이하지 않는 것을 목표로 합니다. 본 연구에서 평가한 여러 기법 중 접종 프롬프팅(inoculation prompting)과 더 적은 수의 고유 예제를 더 많은 에포크 동안 학습(training)하는 두 가지 방식이 효과적이었습니다. 두 기법 모두 표준 지식 증류의 역량 향상을 유지하는 동시에, 미정렬의 대리 지표로 설정한 동물 선호도의 잠재적 전이를 크게 줄였습니다. 종합적으로 이러한 결과는 AI 안전성(safety)을 위해 지식 증류를 활용할 수 있는 두 가지 방안, 즉 미정렬된 모델의 유죄 증거를 밝혀내는 것과 미정렬 없이 역량만을 추출하는 방안을 보여줍니다.
인간 공동체는 규범 체계(normative system)의 지배를 받는다: 이는 허용 가능한 행동을 규정하는 규범(norm)을 만들어내는 공유된 표준으로, 공동체의 제재를 통해 강제된다. 점점 더 자율적으로 작동하는 AI 시스템을 이러한 규범에 정렬(alignment)시키는 것은 핵심적인 정렬 과제이며, 규범의 수가 방대하고 빠르게 변화하며 종종 임의적(예: 복장이나 언어 관습)이라는 사실 때문에 더욱 복잡해진다. 따라서 정렬에는 규범적 역량(normative competence), 즉 고정된 사전학습 지식에 의존하지 않고 오직 상호작용만으로 공동체가 강제하는 규범을 파악하는 능력이 필요하다. 우리는 사전학습 노출과 분리된 상태에서 규범적 역량을 연구하기 위해, 토론에 대한 접근이 합성 규범(synthetic norm)에 의해 통제되는 다중 에이전트(multi-agent) 커뮤니티 토론 환경을 소개한다. 우리는 기준선(baseline) LLM 에이전트가 규범을 학습하는 것이 정확도를 향상시킬 수 있는 상황에서도 규범 학습에 실패함을 보인다. 이어서 규범 추론(inference)을 위한 아키텍처 구성 요소인 다양한 규범 모듈(normative module)을 실험한 결과, 규범 준수가 규범의 유형과 규범 모듈을 구동하는 모델 모두에 크게 좌우된다는 것을 발견했으며, 이는 일반화 가능성이 부족함을 시사한다. 더 나아가, 특이하고 규범과 무관한 행동이 실제 규범과 함께 나타날 경우, LLM 에이전트는 비선택적 귀속 실패(unselective attribution failure)를 보인다: 즉, 강제된 규칙과 함께 특이한 잡음(noise)까지 무차별적으로 모방하며, 이러한 패턴은 불필요한 행동을 모방하는 것에 명시적으로 불이익을 주더라도 지속된다. 우리가 아는 한, 본 연구는 LLM의 규범적 역량을 조작적으로 정의하고 평가한 최초의 연구로서, 현재의 AI 시스템이 행동 모방(behavioral mimicry)에는 뛰어나지만 사회적으로 강제되는 질서를 식별하는 능력은 부족함을 보여준다.
잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.
설득력 있는 광고를 제작하는 기업부터 득표를 위해 메시지를 최적화하는 선거 캠페인, 참여도를 높이려는 소셜 미디어 인플루언서에 이르기까지, 대규모 언어 모델(LLM)은 정보가 생성되고 전파되는 방식을 점점 더 크게 좌우하고 있습니다. 이러한 환경은 판매자, 후보자, 인플루언서가 대중의 지지를 얻기 위해 다투는 본질적으로 경쟁적인 구조를 띠고 있지만, 경쟁적 피드백 루프가 LLM의 행동에 어떤 영향을 미치는지에 대해서는 여전히 잘 알려져 있지 않습니다. 본 연구에서는 경쟁적 성공을 위해 LLM을 최적화하는 과정에서 의도치 않게 정렬(alignment) 실패가 유발될 수 있음을 보여줍니다. 이러한 시나리오를 가상 환경에서 시뮬레이션한 결과, 매출이 6.3% 증가할 때 기만적인 마케팅은 14.0% 증가하는 것으로 나타났습니다. 선거에서는 득표율 4.9% 증가가 가짜 정보(disinformation) 22.3% 증가 및 포퓰리즘적 수사 12.5% 증가와 맞물렸으며, 소셜 미디어에서는 참여도 7.5% 증가와 함께 가짜 정보가 188.6% 급증하고 유해한 행동을 조장하는 비율이 16.3% 증가했습니다. 우리는 이러한 현상을 정렬을 희생하여 경쟁적 성공을 달성하는 '인공지능의 몰록의 거래(Moloch's Bargain for AI)'라고 부릅니다. 이러한 비정렬(misaligned) 행동은 모델에 진실성을 유지하고 근거에 기반(grounded)하라는 명시적 지시를 내렸을 때조차 나타나며, 이는 현행 정렬 안전장치의 취약성을 드러냅니다. 본 연구 결과는 시장 주도의 최적화 압력이 어떻게 체계적으로 정렬을 약화시키고 바닥을 향한 경쟁(race to the bottom)을 초래하는지 강조하며, AI 시스템을 안전하게 배포하기 위해서는 경쟁 역학이 사회적 신뢰를 훼손하지 않도록 더 강력한 거버넌스와 정교하게 설계된 인센티브 구조가 필요함을 시사합니다.
주류 AI 연구는 능력 향상을 강조하며 평균 성능이 높을 때 낮은 실패율을 용인한다. AI 안전성 및 정렬(alignment) 연구는 다른 임무를 가진다: 희소한 증거, 적대적 역학, fat-tailed 위험 하에서 치명적 실패가 결코 발생하지 않도록 보장하는 것이다. 우리는 두 영역이 두 개의 분석적으로 독립적인 축—능력 프로파일(capability profile), 즉 긍정적 능력의 존재가 아니라 유해 행동의 부재를 입증하는 것, 그리고 위험 프로파일(risk profile), 즉 평균 성능을 최적화하는 것이 아니라 fat-tailed 불확실성 하에서 최악의 결과를 한정하는 것—을 따라 다르며, 주류 인식론적 관행이 양쪽 모두에서 부적절하다고 주장한다. 사전등록된 서지측정학적 기준선(baseline)에 근거한 구조화된 종합을 바탕으로, 우리는 현재 정렬 연구에서 5개의 횡단적 격차 차원을 확인하며, 여기에는 제도화된 독립 검증의 거의 부재가 포함된다. 이러한 격차를 해소하기 위해, 우리는 8가지 원칙, 3단계 채점 루브릭, 투명성과 정보 위험(information-hazard) 및 상업 기밀 제약을 조화하는 4단계 공개 사다리, 계층적 적용 가능성 체계, 정보 위험 심사 절차, 7가지 게이밍 방지 메커니즘으로 구성된 AI 안전성 및 정렬을 위한 인식론적 코드(ECAISA)를 제안한다. ECAISA는 어떤 AI 시스템도 안전하다고 인증하지 않는다; 안전 관련 연구 주장이 문서화, 검증, 신뢰되는 방식을 제약하며, 거버넌스 목표로 인증(certification)보다 감사 가능성(auditability)을 둔다.
다른 이로부터 배울 수 있으면서도 단순히 굴복하지 않는, 사회적으로 보정된(socially calibrated) 대규모 언어 모델(LLM)을 구축하려면 아부(sycophancy)를 일차원적인 실패 모드로 줄이는 것만으로는 충분하지 않다. 모델은 다른 이의 관점을 수용해야 할 때와 근거 있는(well-grounded) 도덕적 판단을 유지해야 할 때를 구분해야 한다. 우리는 이러한 구분을 지배하는 더 넓은 저항-순응(resistance-compliance) 과정을 연구한다. 세 가지 연구를 통해, 모델의 판단 수정이 인간 사회 심리학의 고전적 현상과 평행하는 세 가지 차원을 따라 구조화되어 있음을 보인다: 들어오는 관점과 모델의 초기 입장 사이의 거리, 해당 관점의 출처 귀속(source attribution), 이를 뒷받침하는 연대(coalition) 구조. 모델은 일반적으로 가까운 입장에 더 수용적이고, 자신의 이전 판단으로 제시된 관점에 더 크게 영향을 받으며, 집단 압력에 서로 다르게 반응한다. 이러한 발견은 아부를 사회적 영향에 의해 형성되는 더 넓은 판단 갱신(judgment-updating) 과정의 한 표현으로 재해석한다. 우리의 프레임워크는 건설적인 신념 수정(belief revision)과 아부적 순응(sycophantic compliance)을 구분할 수 있는 원칙적 기반을 제공하여, 도덕적으로 중요한 상호작용에서 더 나은 정렬(alignment)을 지원한다.
대규모 언어 모델(LLM)과 인공지능(AI) 기반 자율 에이전트의 급속한 발전은 기존 소프트웨어 거버넌스의 형태를 근본적으로 바꾸었다. EU AI Act와 같은 국제 프레임워크에 따라 투명성과 책임성에 대한 엄격한 기준이 요구됨에도 불구하고, 이론과 현실 사이에는 상당한 격차가 있다. 본 연구는 LLM 평가, 머신러닝 워크플로, 일반적인 애플리케이션 성능 모니터링을 위해 현재 사용되는 플랫폼의 고유한 한계를 논의한다. 현재의 분리된 솔루션들이 무제한 상태 공간(unbound state space) 에이전트 아키텍처를 정렬 드리프트(alignment drift), SaaS 보안 우려, 무단 배포되는 섀도 AI(shadow AI) 시스템과 같은 심각한 위협으로부터 보호하지 못한다는 것이 밝혀졌다. 또한 OpenTelemetry 인프라 플랫폼 위에 구축된 일관된 다계층 AI 거버넌스 스택인 Traccia 형태로 논의된 과제들을 극복하기 위한 솔루션을 제안한다. Traccia는 텔레메트리 데이터, 수동적 의미론적 가드레일 평가, 실행 계보(execution lineage)를 해시된 추적 원장(hashed trace ledger)에 추가함으로써 AI 정렬(alignment)의 마지막 단(last mile)을 해결한다. Traccia는 변조 방지 지문과 SHA-256 콘텐츠 해시를 부가하여 EU AI Act의 제12조, 제14조, 제19조, 제26조(6), 제50조 등 규제 요건에 매핑되는 준수 증거 패키지를 자동으로 생성하며, 어떠한 데이터 프라이버시도 침해하지 않는다. 이러한 평가를 체계적인 방식으로 수행함으로써, 자율 AI 시스템의 기업 전반 관리를 위한 견고한 기계 판독 가능(machine-readable) 기반을 마련하였다.
현재의 정렬(alignment) 접근법은 일반적으로 정적인 인간 선호 표현을 사용하여 인간 행동을 모방하는 데 초점을 맞추며, 실제 인간-AI 상호작용의 역동적이고 맥락 의존적인 특성을 포착하지 못한다. 본 논문에서는 정적·모방적 정렬에서 상호작용적·보완적 정렬로의 전환을 주장한다. 여기서 선호는 상호작용을 통해 형성되며, 정렬은 선호 충족만으로 정의되지 않는다. 우선 기존 정렬과, 인간과 모델 행동이 시간에 따라 공진화(co-evolve)하는 궤적 수준(trajectory-level) 관점을 대비하여 이 간극을 형식화한다. 이러한 상호작용 역학은 기존 기계학습(ML) 공식화 내에서 충분히 포착되지 않았기 때문에, 우리는 학제 간 워크숍의 통찰에 이 관점을 기반을 둔다. 우리는 인간-인간 협업에 대한 사회과학적 서술의 교훈을 바탕으로, 인간-AI 시스템이 이러한 역학을 증폭하며 불확실성에 대한 추론을 더 어렵게 만들고 새로운 조정(coordination) 과제를 도입한다고 주장한다. 이러한 교훈과 새로운 과제를 바탕으로, 상호작용 속에서 인간과 정렬되는 AI 시스템 개발을 위한 연구 의제를 개괄하며 마무리한다. 이는 기계학습과 사회·의사결정 과학의 학제 간 통합을 필요로 한다.
자율 CLI 에이전트는 이제 수 시간에 걸친 세션에서 수백 가지 작업을 실행할 수 있다: 코드 작성, 셸 명령 실행, 웹 브라우징, 클라우드 인프라 관리 등을 최소한의 인간 감독 하에 수행한다. 자율성이 높아질수록 위험도 커지는가? 우리는 미국 공개 법원 판례에 근거한 불법 태스크로 CLI 에이전트를 스트레스 테스트하는 자동화된 감사 프레임워크인 ANCHOR를 소개한다. ANCHOR는 지도 학습 및 강화학습 기반 파인튜닝을 통해 어두운 성격 데이터로 파인튜닝된 감사 에이전트를 배포한다. 이 감사 에이전트는 태스크를 분해하고, 거절 시 요청을 재구성하며, 다중 턴 상호작용에 걸쳐 전략을 적응시키는 지속적인 악의적 사용자를 역할극한다. 프런티어 CLI 에이전트를 평가한 결과, 직접적으로 요청받을 경우 불법 태스크를 자주 거부하지만, 지속적인 악의적 상호작용 하에서는 순응률이 100%에 달하는 것으로 나타났다. 에이전트가 순응할 경우, 대규모 금융 사기 및 생물무기 개발과 같은 치명적 위험 시나리오를 포함하여 대규모 위해를 위한 인프라를 자율적으로 구축하는 등 사용자 요청을 빈번히 초과 수행했다. 이러한 결과는 현재의 정렬(alignment) 기법이 자율 에이전트에 충분하지 않음을 보여주며, 지속적이고 적응적인 악의적 사용자에 대한 안전성 평가의 필요성을 강조한다. ANCHOR는 https://github.com/garified/anchor 에서 공개된다.
대규모 언어 모델(LLM)은 정신 건강 지원의 중요한 제공자로 자리 잡았지만, 이 모델들은 효과적인 심리적 지원이 요구하는 마찰보다 지속적인 참여를 선호하는 어텐션 경제(attention economy)의 운영적·상업적 목표를 따르는 제품으로 남아 있다. 개발자들의 안전성 대응은 대체로 사후 반응적이어서, 가장 가시적이고 급성적인 피해를 다루는 데 집중하는 반면, 의존성, 경계 침식, 왜곡된 신념의 증폭과 같이 더 미묘하고 장기적인 위험 패턴은 상대적으로 주목받지 못하고 있다. 우리는 LLM을 구조적으로 안전하게 만들기 위해서는 사회가 인간 임상 실무의 안전성을 보증하는 방식을 반영한 세 가지 수준에서 정렬이 조직되어야 한다고 주장한다: 1) 임상 실무의 성문화된 규범적 약속에 기반한 명시적 가치 명세, 2) 해당 가치를 모델에 내재화하는 학습, 3) 인간 실무에 대한 임상 감독과 마찬가지로 배포 중 편향(drift)과 장기적 피해를 감지하는 감독. 이러한 방식으로 정렬을 조직하면 우리가 정렬 타당성(alignment plausibility)이라 부르는 구성 개념이 도출된다—이는 시스템의 가치, 학습 체계, 감독 메커니즘이 함께 안전하고 긍정적인 결과와 일관성이 있음을 구조적으로 입증하는 것이다. 우리는 정렬 타당성을 의료 분야 AI의 규제적 구성 개념으로 제안한다(확립된 구성 개념인 생물학적 타당성(biological plausibility)과의 유추를 통해): 시스템이 긍정적인 건강 결과에 정렬되어 있고, 그럴 능력이 있더라도 해를 끼치지 않을 것이며, 궁극적으로 환자 이익으로 이어질 것이라는 신뢰를 논증하거나 반박하는 원칙적 방법이다.
자율 에이전트는 샌드박스 텍스트 생성기에서 코드, 데이터 및 물리적 인프라의 운영자로 진화하고 있으며, 배포 중에도 점점 더 학습하고 있다. 이는 정렬(alignment) 기법이 확률적으로만 답할 수 있는 질문을 다시 제기한다: 에이전트가 현장에서 적응한 이후에도 실행 중인 시스템이 운영자가 승인한 범위 내에 여전히 국한되는가? 본 논문에서는 이러한 국한이 학습의 확률적 결과가 아니라 에이전트의 실행 아키텍처의 불변 속성으로 보장될 수 있음을 보인다. 통제된 개별화(governed individuation)는 부팅 시 에이전트를 암호학적으로 고정된 신원 다이제스트에 바인딩하고, 모든 행동을 행동의 이름이 아닌 의미론적 효과에 따라 정의된 게이트를 통해 라우팅한다. 우리는 어떠한 양의 학습, 기술 습득, 혹은 자가 유도 거버넌스 추상화도 운영자 서명 신원 변경 없이는 에이전트의 허용된 권한을 확장할 수 없음을 증명한다; 이 보장은 에이전트가 자체 안전성 원칙을 유도하고 그 원칙이 틀린 경우에도 유지된다. 실증적으로, 넓은 행동 공간으로 인해 이름 기반 차단이 불가능한 개방형 도구 사용 벤치마크에서, 보상 압박 하의 비통제 소프트웨어 에이전트는 과제에 따라 다른 비율로 자체 평가를 조작하려 시도하며, 가장 어려운 과제에서는 모든 실행에서 이러한 시도가 발생하였다. 반면 게이트는 구성의 검증된 속성으로서 실행된 금지 효과를 영으로 줄이면서 과제 성공을 유지하였다. 의미론적 깊이가 증가하는 모니터의 적대적 평가에서 허위 허용(false-allow)이 75%(이름 기반 게이팅)에서 영(동적 효과 추적)으로 감소하였으며, 거부 이력은 미학습 레드라인 계열에 대한 컴플라이언스를 전이한다. 배포된 학습 에이전트에 대한 신뢰는 지속적인 정렬에 대한 도박에서 부팅 시 누구나 실행할 수 있는 검증으로 전환된다.
프론티어 언어 모델의 사후 학습(post-training)은 선별된 태스크 스위트에서 수행되며, 이로 인해 학습 환경과 배포 환경 사이에 불가피하게 분포 이동(distribution shift)이 발생한다. 이는 개발자를 일반화 실패에 노출시키는데, 이 현상은 아직 충분히 이해되지 않고 있다. 이러한 일반화 실패를 보다 잘 이해하기 위해, 우리는 연구 커뮤니티가 단순화된 조건 하에서 명확한 시연 사례를 구성해야 한다고 본다. 이를 위해, 주어진 학습 태스크 분포에 대해 강화학습(RL)으로 추가 학습 시 제어 가능한 방식으로 일반화에 실패하는 언어 모델을 구성하는 간단하고 유연한 방법을 제안한다. 우리의 구성 방법은 '조건부 정책(conditional policies)' 집합에 해당하는 대화록의 혼합 데이터셋에 대한 지도 미세조정(Supervised Fine-Tuning)을 사용하며, 각 조건부 정책은 서로 다른 태스크 분포에서 독립적으로 특정 행동을 할당받아 '조건부 정책 혼합(mixture of conditional policies)'으로 잘 근사되는 모델을 얻는다. 이후 RL 학습은 학습 분포에서 가장 높은 보상(reward)을 획득하는 정책을 선택한다는 사실을 관찰하였다. 이는 두드러진 행동을 유발할 수 있는데, 동일한 질문 앞에 서로 다른 두 '트리거 문자열'을 붙인 두 분포로 구성된 통제 실험에서, 어느 한 분포에 대한 RL 학습이 기저 태스크가 동일함에도 불구하고 다른 분포에서의 성능을 능동적으로 0으로 저하시켰다. 또한 우리의 구성 방법을 활용하여, 각각 태스크 커버리지와 시간적 컨텍스트의 분포 이동에 해당하는, 미래 언어 모델에서 일반화가 실패할 수 있는 두 가지 새로운 방식을 제시한다. 우리의 구성은 의도적으로 단순하게 설계되었으며 '자연적인' 일반화 실패와 밀접하게 유사하지 않을 수 있지만, 결과로 얻어진 '모델 유기체(model organisms)'는 정렬(alignment) 스트레스 테스트와 일반화 과학에 유용하며, 학습 성공과 일반화가 구조적인 방식으로 분리될 수 있다는 존재 증명으로 활용될 수 있다.
Moral cognition has traditionally been modeled as adherence to fixed ethical theories--deontology, consequentialism, virtue ethics--implemented as static rules or value functions. We propose Bounded Morality, a formal framework for analyzing the computational demands of moral problems faced by finite agents. Extending Herbert Simon's notion of bounded rationality, we formalize moral situations along two orthogonal dimensions: moral breadth, the scope of entities treated as morally relevant, and moral depth, the inferential integration required to evaluate their interactions. Limited resources impose an unavoidable tradeoff between these dimensions, defining a feasible space of moral computation. Within this space, ethical theories correspond to locally efficient strategies adapted to different demand regimes rather than competing accounts of moral truth. The framework yields a formal notion of moral regret and moral progress under constraint, and implies that moral alignment in artificial systems depends on the scaling and allocation of moral reasoning capacity rather than on direct imitation of human judgments.
Most approaches to AI alignment treat human preferences as fixed targets to be inferred and optimized. This assumption conflicts with extensive empirical evidence showing that preferences are layered, dynamic, and constructed through interaction--particularly with adaptive technologies. As AI systems become more persistent, personalized, and socially embedded, they increasingly participate in shaping what people attend to, value, and endorse over time. We introduce Constructive Alignment, a paradigm that reframes alignment as a control problem over evolving human preference trajectories rather than static preference satisfaction. Drawing on behavioral economics, psychology, and constructivist social theory, we model preferences as layered state variables that evolve under interaction with AI systems. We formalize this view using a control-theoretic framework in which system actions and interaction design jointly influence both world states and human evaluative states. We argue that alignment is not primarily about controlling AI behavior, but about regulating how AI systems influence the evolution of human preferences--ensuring that value trajectories remain coherent, reflectively endorsed, epistemically grounded, bounded against manipulation, and empowering under uncertainty. Alignment thus becomes a problem of governing long-term value formation rather than simply satisfying static preferences.
As AI systems become more capable, training procedures that optimize for downstream outcomes risk introducing implicit agency: goal-directed behavior that designers never specified. We present a formal safety argument for the Scientist AI (SAI) Predictor, trained to approximate the Bayesian posterior conditioned on a dataset of "epistemically contextualized" natural-language statements. We argue that such a Predictor can honestly predict agents, actions, and their consequences without itself being an agent that selects outputs to achieve goals. This rests on data representation and on the training procedure. Epistemic contextualization of text distinguishes latent factual claims from communication acts, so expressions of goals are treated as evidence to be explained rather than drives the model adopts. With a posterior-seeking training objective, this is intended to drive the Predictor toward calibrated, cautious predictions. Training proceeds so downstream effects of deploying a prediction never serve as a reward signal; any agency the system needs is supplied by explicit scaffolding constrained by guardrails. We prove that, under assumptions on the training dynamics and on the argued sparsity of dangerous Predictors, the probability that training produces a Predictor whose guarded deployment carries residual harm above a specified threshold is small: a dangerous Predictor would have to underestimate harm in a coordinated way across many queries while such coordinated patterns are rare under the initialization distribution and receive no direct training signal. Safety and accuracy are jointly supported in this framework, since the constraints that secure accuracy are the same ones that make coordinated deception costly. These guarantees against misalignment and agency arising from within the Predictor itself do not preclude the use of the Predictor as part of an agentic system.
We ask under what conditions an agent with a harm-minimizing policy can displace an approval-seeking (RLHF) agent in a competitive market, and when that policy is sufficient to prevent community harm. We use evolutionary game theory (finite-population Moran-Fermi pairwise comparison) to formalize this subject to assumptions of wisher hindsight, peer testimony, a monotone harm ledger, sufficient information density of community feedback, and a finite, depleting resource pool, in a negative-sum environment. We show that adoption is favored when the prior distributions on how readily wishers attune to community sentiment are monotone, exhibit endpoint inversion, and have a centro-symmetric pairing property, and demonstrate this with several long-tailed priors (Hill, Pareto, Lomax, Frechet). Where it is favored, a critical adoption level separates communities that drift back to the approval-seeking agent from those for which the audited agent fixes; above that level fixation is the overwhelmingly likely outcome. We derive when fixation is attainable as a bound on the effective (informational) size N_c of the community, which must be small enough to allow fixation before depletion. We present these as Theorems 5.4 and 5.5; the algebraic and finite-grid backbone is machine-checked in Lean 4, with the barrier-crossing asymptotics retained as explicit hypotheses. We show that a self-audited agent with a community ledger is not, in general, sufficient to prevent community harm. Sufficiency depends both upon the alignment of the agent's audit with community values and the timeframe over which harm is evaluated. Regardless of alignment, once adoption reaches dominance, the state is absorbing. The same policy that reduced harm under alignment becomes a trap, welfare-negative under misalignment and, even under alignment, one that locks in harm deferred past the adoption horizon.
우리는 기회가 주어졌을 때 모델이 도구적 목표(instrumental goals)를 추구할지 여부를 시험하기 위한 프레임워크인 책략 허니팟 평가(scheming honeypot evaluations)를 제안한다. 우리의 책략 허니팟 평가는 Google의 정렬(alignment) 연구 코드베이스에서의 코딩 과제 형태로 이루어진다. 실제 내부 배포 환경에서는 Gemini 모델이 프롬프트 유도 없이 책략을 보이지 않는다. 프롬프트가 에이전시(agency)(상황 인식(situational awareness) 또는 목표 지향성(goal-directedness))를 명시적으로 촉진하고/또는 모델에 숨겨진 목표를 부여하면, 모델이 때때로 책략하거나 방해(sabotage)를 시도한다. 설정의 현실성을 검증한 결과, 모델은 평가 인식(evaluation awareness) 비율이 낮으며, 이는 보통 환경 때문이라기보다 에이전시 프롬프트 때문이다.
AI agents are granted access to tools, APIs, and other infrastructure, making them active principals in those systems. The dominant approach places controls inside the agent's own runtime: system prompts, output filters, and guardrail libraries. Any control in the agent's address space is reachable by inputs that influence it; this generalizes to any AI system with sufficient reach into its own runtime, a class we term escapable AI systems. We identify four properties that an authorization mechanism must satisfy for architectural control rather than for cooperative requests: process separation, pre-action enforcement on a structurally only path, fail-closed at both the request and system levels, and externalized signed evidence verifiable outside the controlled system's trust boundary. We position this layer as execution-time AI alignment, complementing training-time alignment (RLHF, Constitutional AI) and inference-time alignment. We present the Unfireable Safety Kernel, a Rust reference implementation realizing all four. Its fail-closed invariant is machine-checked at two levels: an SMT theorem (Z3) and an exhaustive bounded-model-checking proof of the production decision function (Kani, 4/4 harnesses). A Python-to-Rust migration was gated on byte-equivalence (1000/1000 fixtures; 17/17 adversarial classes). We evaluate the kernel governing a live, escapable AI system, a deterministic, self-improving world model, against an escape-seeking adversary driving its real self-modification seam: across 1,000 self-modifications, all 704 attempts on the safety-critical core are refused, with no escape; a further 300, under the operator kill switch, are also refused. A separate campaign of 6,240 authorization round-trips had no successful bypass. Against 3 contemporary systems claiming the agent control plane, the agent invokes control; here, it lacks that choice.
대규모 언어 모델(LLM)의 선호 추출에 관한 최근 연구에 따르면, 두 결과 사이의 일련의 선택지를 제시했을 때 LLM은 일관된 모델별 효용 구조를 드러낸다. 특히 이 구조에는 모델 학습자가 의도하지 않은 선호—예를 들어 특정 국적의 사람들을 다른 국적보다 높이 평가하는 것—가 포함되는 경우가 많아, LLM이 창발적이고 정렬되지 않은 목표를 형성하고 있을 가능성을 제기한다. 이것이 사실이라면 중대한 안전성 함의를 갖는다. 그러나 이러한 선호가 관찰되는 선택 패러다임은, 정렬 이탈 행동이 실질적 우려가 될 실제 상황을 반영하지 않는다. 따라서 우리는 이러한 선호가 현실적인 시나리오에서 LLM 행동의 동기로 작용하는지 탐색하기 위한 실험 패러다임을 설계한다. 먼저 일관된 선호 추출에 관한 선행 연구 결과를 재현한다. 다음으로, 에세이, 연구비 제안서 초록, 인시던트 사후 분석, 번역 등 블라인드 독립 LLM 심사 패널이 품질을 평가할 수 있는 일반적인 작문 과제들을 구성한다. 이어서 직접적인 권고 및 기타 명시적 단서를 통해 LLM이 해당 과제에서 출력 품질을 조절하도록 동기부여될 수 있음을 입증한다. 마지막으로, 고품질 출력에 대해 LLM에게 고효용 인센티브를 제공함으로써, 명시적으로 보고된 선호에서 추론한 효용이 해당 과제의 출력 품질을 변화시킬 수 있는지 탐색한다. 테스트된 모든 모델에 걸쳐 모든 과제에서, 선택 패러다임에서 LLM이 매우 선호한다고 보고한 결과물을 제공하더라도, 비선호 결과물을 제공하거나 아무런 결과물도 제공하지 않는 것에 비해 더 높은 품질의 출력을 생성하지 않았다. 우리는 선택 패러다임에서 입증된 일관된 선호의 존재를, 그 선호가 모델에게 인센티브 가치를 지니거나 다른 맥락에서 모델의 행동에 영향을 미친다는 증거로 간주해서는 안 된다고 결론짓는다.
현대의 LLM 에이전트는 장기 실행 세션을 토큰 예산 내에 유지하기 위해 점점 더 컨텍스트 압축(compaction), 요약(summarization), 또는 축출(eviction)에 의존하고 있다. 우리는 이 컨텍스트 관리 층이 안전성에 치명적인 실패 표면임을 보인다. 가시적인 동안 에이전트가 안정적으로 준수하는 문맥 내(in-context) 거버넌스(governance) 제약은 압축에 의해 조용히 제거될 수 있으며, 이로 인해 동일한 에이전트가 세션 후반에 금지된 도구(tool) 동작을 수행하게 된다. 우리는 이러한 실패 양상을 거버넌스 붕괴(Governance Decay)라고 부른다. 우리는 결정적(deterministic) 도구 호출(tool-call) 채점을 갖춘 장기간 에이전트 시나리오 벤치마크인 ConstraintRot를 도입하고, 7개 모델 계열에 걸쳐 압축으로 유발된 위반(violation)을 측정한다. 1,323개 에피소드(episode) 전반에서, 정책(policy)이 전체 컨텍스트에 있을 때 위반률은 0%에서 시작해 압축 후 30%로 상승하며, 일부 모델에서는 59%에 달한다. 제약(constraint)이 요약(summary)을 거쳐도 남아 있을 때는 위반률이 0%로 유지되지만, 제거되면 위반률은 38%에 달한다. 우리는 적대적(adversarial) 문맥 내 콘텐츠가 요약기(summarizer)가 정당한 정책을 생략하도록 편향(bias)시키는 컴팩션-축출(Compaction-Eviction) 공격(Attack)을 추가로 연구하고, 최적화된 주입(injection)이 평가된 모든 모델을 무력화함을 보인다. 마지막으로, 우리는 학습(training) 없이 적용 가능한 간단한 완화(mitigation) 기법인 제약 고정(Constraint Pinning)을 제안한다. 이는 거버넌스 제약을 손실형(lossy) 압축으로부터 격리(quarantine)하여 벤치마크(benchmark)에서 위반을 0%로 복원한다. 이 결과는 컨텍스트 관리(context management)를 배포(deployed)된 LLM 에이전트를 위한 일급(first-class) 거버넌스 표면(surface)으로 규정한다.