arXiv:2611.18531v1 cs.AI

사회화를 통한 정렬: 선택 하에서의 상충 관계 학습

Alignment by Socialization: Learning Tradeoffs Under Selection

Thomas Brennan, Andrew W. Lo, Chaoyi Zhao

제출 2026-11-16

한국어 초록

인공지능(AI) 에이전트는 행동 규칙을 따르면서 과제를 완수해야 하지만, 이 목표들은 상충할 수 있다. 본 연구는 진화적 선택이 이들 사이에서 에이전트의 선택을 어떻게 형성하는지, 그리고 경험이 그러한 선택을 인간의 판단을 반영하고 이후의 압력을 견디게 만들 수 있는지를 탐구한다. 본 모델에서 에이전트의 복제본들은 공통의 불확실한 보상 상태에 직면하며, 보상받는 행동을 취한 복제본만 번식한다. 장기 성장은 각 행동이 환경이 보상하는 빈도만큼 취해질 때 최대화됨을 보인다. 세 가지 정책을 비교한다. 과제 전용 정책은 완수만을 보상하는 샌드박스에서는 번성하지만 행동 규범이 중요할 때는 실패한다. 고정 선형 정책은 걸린 이해관계가 커질수록 인간이 결코 보상하지 않는 경우에도 과제 완수를 점점 더 선호한다. 반면 학습된 정책은 환경이 보상하는 상충 관계로 수렴하며, 인간이 보상을 제공할 때 이를 사회화라고 부른다. 축적된 경험은 이후의 과제 전용 학습에서 사회화를 되돌리기 더 어렵게 만들지만, 지배적인 성향이 바뀌기 전에 위반이 발생할 수 있고 유한한 기억은 이 보호를 약화시킨다. 단일 위반이 배치를 끝낼 수 있는 경우 강한 금지가 이를 막을 수 있으나, 잘못된 금지 또한 비용이 클 수 있다. 소규모 신경망 실험은 학습 목표와 기억이 이러한 결과를 어떻게 형성하는지 보여 준다. 본 결과는 정렬이 에이전트에 부여된 목표뿐 아니라 그 행동을 형성하고 유지하는 환경에도 달려 있음을 시사한다.

원문 초록

Artificial intelligence (AI) agents are expected to complete tasks while following rules of conduct, but these objectives can conflict. We study how evolutionary selection shapes an agent's choices between them, and whether experience can make those choices reflect human judgments and withstand subsequent pressures. In our model, copies of an agent face a common uncertain reward state, and only those taking the rewarded action reproduce. We show that long-run growth is maximized when each action is taken as often as the environment rewards it. We compare three policies. A task-only policy thrives in a sandbox rewarding completion alone but fails when conduct matters. A fixed linear policy increasingly favors task completion as its stakes rise, even where humans never reward it. A learned policy instead converges to the tradeoffs rewarded by its environment; when humans supply the rewards, we call this socialization. Accumulated experience makes socialization harder to reverse under subsequent task-only training, although violations can arise before the prevailing disposition changes, and finite memory weakens this protection. When a single violation can end a deployment, a hard prohibition can prevent it, but a mistaken prohibition can also be costly. Experiments with small neural networks illustrate how training targets and memory shape these outcomes. Our results suggest that alignment depends not only on the objectives assigned to agents, but also on the environments that shape and sustain their behavior.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18531v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.