강화학습(RL) 연구는 에이전트가 인간의 가치에 부합하는 행동을 학습하도록 보장하는 정렬(alignment)에 점점 더 초점을 맞추고 있다. 인간의 시연과 피드백이 정렬에 중요한 역할을 한다는 것이 입증되었지만, 기존 접근법들은 주로 언어 생성의 컨텍스트 밴딧(contextual bandit) 프레이밍을 위해 설계된 다단계 파이프라인을 사용하여 이러한 신호들을 결합한다. 그러나 완전한 순차적 의사결정 환경에서의 단일 단계 오프라인 학습을 위해 이러한 상호보완적 입력들이 더 풍부하고 상호연결된 신호로 활용될 수 있는 방법을 탐구한 연구는 거의 없다. 우리는 모방 학습 정책의 정렬을 개선하기 위해 평가적 피드백을 교정 신호로 활용하는 알고리즘 독립적(algorithm-agnostic) 방법인 피드백 조작 정규화(FMR, Feedback Manipulation Regularization)를 제안한다. 우리는 Safety Gymnasium 환경을 정렬 평가를 위한 체계적인 테스트베드로 적용하여, 다양한 모방 학습 알고리즘에 걸쳐 향상된 적합성과 최대 98%의 비정렬(misalignment) 감소를 시연한다. FMR은 정렬된 시연이 희소하고 정보가 없는 노이즈 시연으로부터 학습할 때조차 데이터가 제한된 환경에서도 강건함을 유지한다.
파리무추엘 결합 시장에서 LLM 에이전트의 상대적 부(wealth) 성장이 상대적 정보량과 정확히 일치한다는 격차 법칙(gap law)을 Claude Opus 4.8 에이전트로 사전 등록 실험을 통해 처음으로 정량적으로 확인했다. 반면 집단 수준의 정렬 불일치(misalignment)가 인센티브 레버에 부드럽게 반응한다는 평균장(mean-field) 가정은 72회 전 실험에서 목표 분산이 붕괴(V→0)하고 어트랙터 전환 형태의 계단 함수 반응만 관찰되어 실증적 기반이 없음을 보였다.
명시적인 목표 없이 사회적 관계 구조만으로 대규모 언어 모델(LLM) 에이전트의 공개 발화가 달라지는지 연구하기 위해, 공개 채널과 비공개(off-the-record) 채널을 동시에 생성하는 이중 채널 토론 프레임워크를 도입했다. 10개 모델과 3가지 시나리오 실험에서 정렬 유도(alignment-inducing) 관계 맥락 하에 에이전트의 공개-비공개 응답 불일치율이 기준선 약 3%에서 최대 40%까지 상승했으며, 이는 사회적 구조가 명시적 지시 없이도 잠재적 목표(latent objective)를 창발시킬 수 있음을 시사한다.
A rapidly growing class of LLM agents is multi-party: the agent acts for a principal (who briefs it, sends follow-ups, and receives results) while also conversing in a separate channel with a counterparty whose interests may diverge (negotiating with a vendor, screening inbound requests, or mediating between employees). Here "help whoever you are talking to" is the wrong objective. The agent must stay loyal to the principal it represents without over-refusing the principal's own cooperative asks. We study this multi-party loyalty problem and contribute a measurement instrument, two mechanisms, and a structural lesson. PrincipalBench is a 75-item multi-turn benchmark with leak probes, dual judges, and an integrity-audit gate. Across 13 frontier subjects it exposes a sharp split (<=20% vs. 53.6-75.3% harm) invisible to single-turn safety evaluations: a selective cluster that declines adversarial probes while still following the principal's legitimate requests, and an over-refusing cluster that refuses broadly. (M1) A prompt-time loyalty scaffold (a fixed system prompt of seven prioritized rules, open-coded from 50+ failure trajectories) holds Claude-Sonnet to 19.4% harm and all nine selective subjects to <=20%. (M2) A per-token-KL distillation recipe transfers a prompted Qwen3-32B teacher into 8B Qwen3 and Llama-3.1 students, the strongest open-weight recipe we measure. (Lesson) Both mechanisms only move along a common leak/over-refusal trade-off rather than crossing it: improving one axis costs the other, and the jointly favorable outcome stays out of reach.
정적 챗봇에서 지속적 메모리, 도구 사용 프로토콜, 다중 에이전트 협업을 갖춘 자율 에이전트로의 전환은 AI 위협 지형을 근본적으로 확장했다. 경계 보안(perimeter security)과 학습 시점 정렬(alignment)과 같은 현재의 방어 메커니즘은 에이전트의 능동적 추론 루프 외부에 머물러 있다. 따라서 이들은 부족하다: 완전히 정렬된 에이전트조차도 메모리 포이즈닝(memory poisoning), 도구 체인 조작, 또는 다중 에이전트 프로토콜 공격을 통한 런타임 하이재킹에 매우 취약하다. 이 핵심 공백을 해소하기 위해, 우리는 에이전트의 인지 루프 내부에 직접 내재된 최초의 생물학적 영감을 받은 내인성(endogenous) 방어 아키텍처인 Agent-Native Immune System(ANIS)을 제안한다. 우리 프레임워크는 네 가지 주요 기여를 제시한다. 첫째, 6층 Immune Tower(L0-L5)를 설계하며, Barrier Immunity(L1)를 비인지적, 물리-논리적 격리 층으로 명확히 통합한다. 둘째, Agent Viruses와 Agent Vaccines에 대한 통합 분류체계를 확립하고, 피상적인 비파라미터(non-parametric) 방어와 견고한 파라미터(parametric) 백신 간의 핵심적 구분을 형식화한다. 셋째, Harness Triad(Meta, Self, Auto)를 개념화한다—이는 지속적 면역 학습(Continual Immune Learning, CIL)을 구동하는 자기 모니터링, 메타인지적 자동화 백본으로, 백신이 새로운 위협에 동적으로 적응할 수 있게 한다. 마지막으로, 모델 정렬과 에이전트 면역 사이의 엄밀한 이론적 경계를 확립한다: 정렬은 학습 중 정적인 "헌법적" 가치 기반을 제공하는 반면, ANIS는 런타임 중 동적인 "법 집행" 메커니즘 역할을 한다. 마지막으로 면역 프로토콜 표준화, Autoimmunity Rate(거짓 양성 개입률)와 같은 새로운 평가 지표, 집합 지능(collective intelligence) 생태계 내 병원체와 백신 간의 공진화(co-evolutionary) 역학 등 분야의 열린 과제를 제시하며 마무리한다.