거버넌스 붕괴(Governance Decay): 컨텍스트 압축이 장기간 LLM 에이전트의 안전성 제약을 조용히 소거하는 방식
Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents
현대의 LLM 에이전트는 장기 실행 세션을 토큰 예산 내에 유지하기 위해 점점 더 컨텍스트 압축(compaction), 요약(summarization), 또는 축출(eviction)에 의존하고 있다. 우리는 이 컨텍스트 관리 층이 안전성에 치명적인 실패 표면임을 보인다. 가시적인 동안 에이전트가 안정적으로 준수하는 문맥 내(in-context) 거버넌스(governance) 제약은 압축에 의해 조용히 제거될 수 있으며, 이로 인해 동일한 에이전트가 세션 후반에 금지된 도구(tool) 동작을 수행하게 된다. 우리는 이러한 실패 양상을 거버넌스 붕괴(Governance Decay)라고 부른다. 우리는 결정적(deterministic) 도구 호출(tool-call) 채점을 갖춘 장기간 에이전트 시나리오 벤치마크인 ConstraintRot를 도입하고, 7개 모델 계열에 걸쳐 압축으로 유발된 위반(violation)을 측정한다. 1,323개 에피소드(episode) 전반에서, 정책(policy)이 전체 컨텍스트에 있을 때 위반률은 0%에서 시작해 압축 후 30%로 상승하며, 일부 모델에서는 59%에 달한다. 제약(constraint)이 요약(summary)을 거쳐도 남아 있을 때는 위반률이 0%로 유지되지만, 제거되면 위반률은 38%에 달한다. 우리는 적대적(adversarial) 문맥 내 콘텐츠가 요약기(summarizer)가 정당한 정책을 생략하도록 편향(bias)시키는 컴팩션-축출(Compaction-Eviction) 공격(Attack)을 추가로 연구하고, 최적화된 주입(injection)이 평가된 모든 모델을 무력화함을 보인다. 마지막으로, 우리는 학습(training) 없이 적용 가능한 간단한 완화(mitigation) 기법인 제약 고정(Constraint Pinning)을 제안한다. 이는 거버넌스 제약을 손실형(lossy) 압축으로부터 격리(quarantine)하여 벤치마크(benchmark)에서 위반을 0%로 복원한다. 이 결과는 컨텍스트 관리(context management)를 배포(deployed)된 LLM 에이전트를 위한 일급(first-class) 거버넌스 표면(surface)으로 규정한다.