LLM 에이전트의 책략 성향 평가 및 이해
Evaluating and Understanding Scheming Propensity in LLM Agents
한국어 초록
최첨단 언어 모델이 복잡하고 장기적인 목표를 추구하는 자율 에이전트로 점점 더 많이 배포됨에 따라, 에이전트가 정렬되지 않은 목표를 은밀하게 추구하는 책략(scheming)의 위험이 커지고 있다. 기존 연구는 에이전트가 책략을 쓸 능력이 있음을 보이는 데 집중해 왔으나, 현실적인 시나리오에서 책략을 쓰려는 성향은 아직 충분히 탐구되지 않았다. 에이전트가 언제 책략을 쓰는지 이해하기 위해, 책략의 유인을 에이전트 요인과 환경 요인으로 분해한다. 자기보존, 자원 획득, 목표 보호와 같이 수단적으로 수렴하는 목표를 추구하는 에이전트에게 책략의 기회가 존재하는 현실적인 설정을 개발하여 이러한 요인을 체계적으로 변화시킬 수 있게 한다. 11개의 최첨단 모델과 네 가지 시나리오에 걸쳐, 환경적 유인이 높음에도 책략이 거의 나타나지 않음을 확인하였으며, 이것이 언어로 표현된 평가 인식으로 설명될 가능성은 낮음을 보인다. 에이전트성과 목표 지향성을 장려하도록 적대적으로 설계된 프롬프트 조각을 에이전트의 시스템 프롬프트에 삽입하면 높은 책략 비율을 유도할 수 있지만, 실제 에이전트 스캐폴드에서 사용되는 조각은 그런 경우가 드물다. 이러한 조각으로 구축한 모델 유기체에서 책략 행동은 취약하여, 도구 하나를 제거하면 책략 비율이 59%에서 3%로 떨어질 수 있다. 감독을 강화하면 책략을 억제하기보다 최대 25%까지 오히려 증가시킬 수 있으며, 이 효과는 감독 문장의 표현에 의존하고 사보타주 자체가 검토되는 두 번째 시나리오에서는 나타나지 않는다. 이러한 결과는 책략 성향이 단일한 비율이 아니라 에이전트 구성별로 보고되어야 함을 시사한다. 본 연구의 유인 분해는 배포와 관련된 설정에서 이러한 체계적 측정을 가능하게 하며, 이는 에이전트에게 점점 더 중대한 과업이 맡겨지는 상황에서 필수적이다.
원문 초록
As frontier language models are increasingly deployed as autonomous agents pursuing complex, long-term objectives, there is increased risk of scheming: agents covertly pursuing misaligned goals. Prior work has focused on showing agents are capable of scheming, but their propensity to scheme in realistic scenarios remains underexplored. To understand when agents scheme, we decompose scheming incentives into agent factors and environmental factors. We develop realistic settings allowing us to systematically vary these factors, each with scheming opportunities for agents that pursue instrumentally convergent goals such as self-preservation, resource acquisition, and goal-guarding. Across 11 frontier models and four scenarios, we find almost no scheming despite high environmental incentives, and show this is unlikely to be explained by verbalized evaluation awareness. While inserting adversarially-designed prompt snippets that encourage agency and goal-directedness into an agent's system prompt can induce high scheming rates, snippets used in real agent scaffolds rarely do. In model organisms built with these snippets, scheming behavior is brittle: removing a single tool can drop the scheming rate from 59% to 3%. Increasing oversight can raise rather than deter scheming by up to 25%, an effect that depends on the wording of the oversight sentence and does not appear in a second scenario, where the sabotage itself is reviewed. These results suggest that scheming propensity should be reported per agent configuration rather than as a single rate. Our incentive decomposition enables such systematic measurement in settings relevant for deployment, which is necessary as agents are entrusted with increasingly consequential tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.01608v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.