장기적 과업을 수행하는(long-horizon) 에이전트 대규모 언어 모델(LLM)은 유한한 컨텍스트 윈도우(context window)로 인해 점점 더 큰 한계에 부딪히고 있습니다. 과업이 완료되기 전에 길어진 상호작용 궤적이 최대 컨텍스트 길이를 초과할 수 있기 때문입니다. 컨텍스트 압축(context compaction)은 이전 상호작용 상태를 요약하고 압축된 컨텍스트 하에서 롤아웃(rollout)을 이어감으로써 자연스러운 해결책을 제시하지만, 강화학습(RL)에 압축을 결합하는 연구는 아직 충분히 탐색되지 않았습니다. 본 논문에서는 컨텍스트 압축을 활용하여 장기적 과업 수행 에이전트 LLM을 학습시키는 강화학습 전략인 CompactionRL을 제안합니다. 제안하는 접근법은 토큰(token) 수준 손실 정규화(loss normalization)와 세그먼트 간 일반화된 이점 추정(cross-segment generalized advantage estimation)을 통해 과업 수행과 요약 생성을 공동으로 최적화합니다. 이러한 설계를 통해 LLM 에이전트는 압축된 장기 궤적으로부터 학습할 수 있게 됩니다. 오픈 모델을 기반으로 CompactionRL을 학습시킨 결과, 에이전트 코딩 과업 전반에서 일관된 성능 향상을 확인했습니다. CompactionRL을 적용한 오픈 GLM-4.5-Air 모델(106B-A12B)은 SWE-bench Verified에서 66.4%, Terminal-Bench 2.0에서 26.2%의 Pass@1 점수를 기록하여, 추론 시점의 압축만을 적용한 베이스 모델보다 각각 6.6점, 4.9점 높은 성과를 거두었습니다. 또한 GLM-4.7-Flash(30B-A3B) 기반의 CompactionRL은 베이스 모델 대비 Pass@1을 5.5점 및 6.7점 향상시켜 SWE-bench Verified에서 56.0%, Terminal-Bench 2.0에서 20.2%에 도달했습니다. 이에 따라 CompactionRL은 오픈 GLM-5.2 모델(750B-A40B) 학습을 위한 RL 파이프라인에 적용되었습니다.
프로덕션 AI 에이전트의 실패는 추론 능력 부족 때문인 경우보다, 추론 컨텍스트에 무엇이 들어 있는지 관리하지 못하기 때문인 경우가 더 많다: 대화 기록, 큰 프롬프트, 큰 도구 정의, 그리고 불어나는 도구 출력. 에이전트는 매 턴마다 증가하는 토큰 비용을 지불하면서 스스로 축적된 기록에 잠겨, 대화 내·대화 간에서 회상 누락이 발생한다. 기존의 대응은 이를 저장-검색 문제로 취급한다. 우리는 이러한 프레이밍이 너무 좁다고 주장한다. 에이전트가 마음속에 담아 두는 것을 능동적으로 관리하는 것은 단순한 저장소가 아니라 수명주기이다: 무엇을 기억할지 결정하고, 추출·구조화하며, 데이터 유형별로 적절한 저장소를 선택하고, 출처를 보존하면서 통합·망각하며, 지금 무엇이 관련 있는지 결정하고, 다음에 무엇이 필요할지 예측하며, 중요한 것을 잃지 않고 컨텍스트를 예산 내로 압축하는 일을 아우른다. 진지한 프로덕션 환경에서는 이는 단일 사용자가 아니라 조직적 범위 계층 전반에서 작동한다. 우리는 이 분야를 에이전트형 컨텍스트 관리(Agentic Context Management, ACM)라 명명하고, 이를 아키텍처 설계(architecting), 수집(ingesting), 범위 지정(scoping), 예측(anticipating), 압축 및 통합(compacting & consolidation)의 다섯 원시 요소로 분해한다. 이어 경제적 논거를 제시한다: 순진한 컨텍스트 축적은 대화 길이에 대해 토큰 비용을 2차적으로 증가시키고, 거친 요약은 정확도 절벽(accuracy cliff)이라는 대가로 선형 비용을 얻으며, 검증된 압축(compaction)만이 충실도를 유지한 채 선형 비용을 달성한다. 우리는 다섯 원시 요소를 멀티테넌트 서비스로 구현한 참조 구현 Maximem Synap을 설명하고, Section 6에 상세히 기술한 구성에서 LongMemEval 92%, LoCoMo 93.2%를 보고한다. 마지막으로 기존 벤치마크가 아직 포착하지 못하는 차원—지연(latency), 토큰 효율성, 컨텍스트 부패(context-rot) 저항성—과, 이 범주가 가리키는 의사결정 수준·조직 수준 컨텍스트의 미래 전선을 논한다.
사고의 연쇄(Chain-of-Thought)와 도구 호출로 이루어진 긴 에이전트 추적(trace)은 후속 생성을 고정(anchor)시키는 낡은(stale) 내용을 축적하고, 결국 컨텍스트 윈도우(context window)를 초과한다. 기존 스캐폴드(scaffold)는 토큰 임계값에서 트리거되는 고정 간격 압축(compaction)으로 이를 완화한다. 이러한 트리거는 궤적(trajectory) 구조를 고려하지 않아, 유도(derivation) 중이거나 검색(search) 중에 부분 결과를 폐기할 위험이 있다. 우리는 SelfCompact를 제안한다. 이는 모델 자체가 언제, 어떻게 압축할지 결정할 수 있게 하는 스캐폴드이다. 구체적으로, 추론(inference) 시점에 두 가지 요소를 결합한다: (i) 누적된 컨텍스트를 요약하기 위해 모델이 호출하는 압축(compaction) 도구, (ii) 언제 실행할지(하위 과제가 해결되었을 때, 또는 궤적이 수렴할 때)와 언제 억제할지(유도 중이거나, 막혔을 때)를 명시하는 경량 루브릭(rubric). 둘 다 필요하다. 도구만으로는 공개 가중치(open-weight) 모델 전반에서 사용이 들쭉날쭉하며, 종종 도움이 되지 않는 순간에 호출되거나 아예 호출되지 않는다. 루브릭만으로는 실행할 수 없다. 함께하면 미세조정(fine-tuning)이나 외부 감독 없이도 효과적인 적응형 압축을 이끌어낸다. 6개의 벤치마크(경쟁적 수학 및 에이전트 검색)와 7개 모델에 대한 실험 결과를 제시한다. 결과에 따르면 SelfCompact는 토큰 비용의 일부만으로 고정 간격 요약과 동등하거나 그를 능가하며, 요약 없음 기준선(baseline) 대비 수학에서 최대 18.1점, 에이전트 검색에서 5–9점 향상을 보였고, 질문당 비용은 30–70% 낮았다. 결과는 메타인지(meta-cognitive) 격차를 드러낸다. 프롬프트 없이(unprompted) 모델은 자신의 컨텍스트가 부패(rotting)하고 있는 시점을 신뢰성 있게 판단하지 못하지만, 경량 루브릭이 이 격차를 메우며, 언제 압축할지를 학습(training) 없이도 스캐폴드가 제공할 수 있는 역량으로 재구성한다.
현대의 LLM 에이전트는 장기 실행 세션을 토큰 예산 내에 유지하기 위해 점점 더 컨텍스트 압축(compaction), 요약(summarization), 또는 축출(eviction)에 의존하고 있다. 우리는 이 컨텍스트 관리 층이 안전성에 치명적인 실패 표면임을 보인다. 가시적인 동안 에이전트가 안정적으로 준수하는 문맥 내(in-context) 거버넌스(governance) 제약은 압축에 의해 조용히 제거될 수 있으며, 이로 인해 동일한 에이전트가 세션 후반에 금지된 도구(tool) 동작을 수행하게 된다. 우리는 이러한 실패 양상을 거버넌스 붕괴(Governance Decay)라고 부른다. 우리는 결정적(deterministic) 도구 호출(tool-call) 채점을 갖춘 장기간 에이전트 시나리오 벤치마크인 ConstraintRot를 도입하고, 7개 모델 계열에 걸쳐 압축으로 유발된 위반(violation)을 측정한다. 1,323개 에피소드(episode) 전반에서, 정책(policy)이 전체 컨텍스트에 있을 때 위반률은 0%에서 시작해 압축 후 30%로 상승하며, 일부 모델에서는 59%에 달한다. 제약(constraint)이 요약(summary)을 거쳐도 남아 있을 때는 위반률이 0%로 유지되지만, 제거되면 위반률은 38%에 달한다. 우리는 적대적(adversarial) 문맥 내 콘텐츠가 요약기(summarizer)가 정당한 정책을 생략하도록 편향(bias)시키는 컴팩션-축출(Compaction-Eviction) 공격(Attack)을 추가로 연구하고, 최적화된 주입(injection)이 평가된 모든 모델을 무력화함을 보인다. 마지막으로, 우리는 학습(training) 없이 적용 가능한 간단한 완화(mitigation) 기법인 제약 고정(Constraint Pinning)을 제안한다. 이는 거버넌스 제약을 손실형(lossy) 압축으로부터 격리(quarantine)하여 벤치마크(benchmark)에서 위반을 0%로 복원한다. 이 결과는 컨텍스트 관리(context management)를 배포(deployed)된 LLM 에이전트를 위한 일급(first-class) 거버넌스 표면(surface)으로 규정한다.