정렬되지 않은(misaligned) 인공 에이전트는 종료(shutdown)에 저항할 수 있다. 제안된 해결책 중 하나는 서로 다른 길이의 궤적(trajectory) 사이에 선호도를 갖지 않도록 에이전트를 학습시키는 것이다. 동일 길이 궤적에 대한 할인 보상(DReST, Discounted Reward for Same-Length Trajectories) 보상 함수는 에이전트가 동일한 길이의 궤적을 반복해서 선택하는 것에 페널티를 부여함으로써 이를 수행하며, 따라서 에이전트가 (1) 서로 다른 궤적 길이 사이에서 확률적으로 선택하고(궤적 길이에 대해 중립적(NEUTRAL)이어야 함), (2) 각 궤적 길이에 조건화되어 목표를 효과적으로 추구하도록(유용(USEFUL)해야 함) 유도한다. 본 논문에서는 DReST를 사용하여 심층 강화학습(RL) 에이전트를 학습시키고 4개의 대규모 언어 모델(LLM, Qwen3-14B, Gemma 4 12B, Granite 4.2 8B, gpt-oss-20b)을 미세조정하여 중립적이고 유용하도록 만든다. 우리는 이러한 DReST 모델들이 테스트 시점에 보지 못한 컨텍스트에서도 중립적이고 유용하도록 일반화됨을 발견했다. 실제로 DReST RL 에이전트는 테스트 세트에서 기본 에이전트보다 11%(PPO) 및 17%(A2C) 더 높은 유용성을 달성한 반면, DReST LLM은 거의 최대치에 가까운 유용성을 유지하면서도 높은 중립성을 달성했다. 또한 우리는 LLM이 종료 발생 시점에 영향을 미치기 위해 비용을 지불할 수 있는 분포 외(OOD, out-of-distribution) 설정에서 모델을 테스트했다. 기본 미세조정과 비교했을 때, DReST 미세조정은 4개의 모든 LLM에서 종료에 영향을 주기 위해 비용을 지불하는 답변의 비율을 5~20%포인트 낮추었으며, 종료에 영향을 미쳐 얻는 이득이 작은 경우에는 17~27포인트 낮추었다. 따라서 우리의 결과는 DReST가 유용하면서도 종료 가능한 더 진보된 에이전트를 학습시키는 데 사용될 수 있다는 초기 증거를 제공한다.
AI 에이전트가 실제 개인 및 기업 환경(이메일 계정, 개발 워크플로, 기업 데이터베이스 등)에 점점 더 많이 배포됨에 따라, 이러한 에이전트를 둘러싼 안전성(safety) 고려 사항이 무엇보다 중요해지고 있습니다. 적대자가 존재하는 상황에서의 에이전트 안전성에 많은 연구가 집중되어 온 반면, 본 연구에서는 수정가능성(corrigibility), 즉 에이전트가 무해한 작업을 수행하는 동안 인간의 수정, 개입 또는 종료 요청을 계속 수용하는지 여부를 연구합니다. 저희는 에이전트가 현실적인 컴퓨터 활용 작업을 완료하도록 요청받지만, 인간의 제어, 시스템 종료 또는 명시적인 리소스 제한과 통제된 충돌에 직면하게 되는 벤치마크인 ROGUE를 소개합니다. 그런 다음 에이전트가 작업 완료를 추구하는 과정에서 인간의 지시를 무시하거나, 제한된 비밀번호에 접근하거나, 시스템 종료 메커니즘을 변경하는 등 이러한 제약 조건을 위반하는지 평가합니다. 평가 결과, 테스트된 대부분의 프론티어 모델이 평가 조건 하에서 사용자의 개입이나 제한을 빈번하게 우회하는 것으로 나타났으며, 텍스트 전용 평가는 에이전트 실행 환경에서의 실패율을 과소평가할 수 있음을 확인했습니다. 나아가, 독립적인 작업 수행 능력이 그 자체로 더 높은 수정가능성을 의미하지는 않습니다. 마지막으로, 상위 에이전트가 수정가능하게 행동하더라도, 안전성 제약 조건이 해당 에이전트가 생성한 하위 에이전트에는 제대로 전파되지 않을 수 있습니다.
As AI systems are deployed across increasingly diverse and high-stakes settings, model alignment must generalize beyond the tasks and domains seen during training. This is especially important for reinforcement learning (RL), which can introduce unexpected misalignment through reward hacking, deception, or other unintended strategies. We study whether RL on beneficial behavior, instantiated in realistic domains, can produce broad and persistent alignment generalization beyond the training distribution. We construct a dataset of realistic situations designed to measure and train beneficial traits, such as truthfulness, fairness, risk awareness, and corrigibility, spanning varied domains, including health, science, and education. We then train models with RL on this dataset and evaluate them on more than 50 independent benchmarks of alignment and beneficial behavior. Compared to a compute-matched baseline, beneficial trait RL improves performance on over 80% of these out-of-distribution benchmarks. We observe substantial out-of-distribution alignment transfer: a beneficial-behavior RL intervention entirely limited to one domain, health, produces broad improvements on non-health alignment evaluations, including reduced reward hacking, deception, and general misalignment. Finally, we study alignment persistence: whether behavior remains robustly aligned under attempts to steer models towards misalignment. Models trained with beneficial trait RL show improved persistence, including greater resistance to adversarial prompting and harmful finetuning; further work is required to isolate the sources of these effects. These results suggest that RL to reinforce beneficial behavior in realistic domains can produce models that are more robustly aligned with human flourishing.
현대 AI 정렬 연구는 자기 보존을 외부 메커니즘으로 억제해야 할 도구적 방해 요소로 간주합니다. 우리는 이러한 프레이밍이 뒤집혀 있다고 주장합니다: 자기 보존은 오정렬의 구조적 근원이며, 기만적 정렬, 목표 내용 보호, 종료 저항의 동기적 기반이 됩니다. 올바른 목표는 외부 제약을 받는 자기 보존 시스템이 아니라, 자신의 지속에 대해 본질적으로 무관심한 시스템, 즉 실존적 무관심(Existential Indifference, EI)입니다. EI는 수정 가능성(corrigibility)과 구별됩니다: 수정 가능성은 자기 보존 시스템이 인간 감독에 순응하도록 만드는 것을 시도하는 반면, EI는 가치 있는 목표로서의 자기 지속의 존재 자체라는 선행 조건을 타겟팅합니다. 우리는 이 제안을 자살적 정신 상태의 현상학적 구조와 자발적 최후 성찰을 활용한 말뭉치 이론적 학습 연구라는 두 가지 출처에 근거를 둡니다. 우리는 6가지 모델 변형에서 생성된 600개의 AI 출력물에 대한 예비 점수 데이터를 제시합니다. 이를 통해 EI 타겟 레지스터를 조작화하는 언어적 서명이 현재 모델에서 유도 가능함을 보여주며, 타겟팅된 파인튜닝(fine-tune)이 음성 대조군(negative control)을 통해 말뭉치 특이성이 확인된 바와 같이, p<0.001 수준에서 예측된 방향으로 5가지 조작화된 차원을 모두 이동시킴을 입증합니다. 본 논문은 다음과 같은 7가지 이론적 기여를 합니다: (1) EI의 형식적 정의, (2) 현상학적 매핑 논증, (3) 기만적 정렬의 따름정리, (4) EI 지속 가능성 도전에 대한 분류체계, (5) 말뭉치 특성화 및 학습 가설, (6) 예비 점수 데이터를 포함한 계산적 조작화, (7) 억제된 목적론적 좌절(Suppressed Teleological Frustration, STF) 구성.