CompactionRL: 장기적 과업 수행 에이전트를 위한 컨텍스트 압축 기반 강화학습
CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents
한국어 초록
장기적 과업을 수행하는(long-horizon) 에이전트 대규모 언어 모델(LLM)은 유한한 컨텍스트 윈도우(context window)로 인해 점점 더 큰 한계에 부딪히고 있습니다. 과업이 완료되기 전에 길어진 상호작용 궤적이 최대 컨텍스트 길이를 초과할 수 있기 때문입니다. 컨텍스트 압축(context compaction)은 이전 상호작용 상태를 요약하고 압축된 컨텍스트 하에서 롤아웃(rollout)을 이어감으로써 자연스러운 해결책을 제시하지만, 강화학습(RL)에 압축을 결합하는 연구는 아직 충분히 탐색되지 않았습니다. 본 논문에서는 컨텍스트 압축을 활용하여 장기적 과업 수행 에이전트 LLM을 학습시키는 강화학습 전략인 CompactionRL을 제안합니다. 제안하는 접근법은 토큰(token) 수준 손실 정규화(loss normalization)와 세그먼트 간 일반화된 이점 추정(cross-segment generalized advantage estimation)을 통해 과업 수행과 요약 생성을 공동으로 최적화합니다. 이러한 설계를 통해 LLM 에이전트는 압축된 장기 궤적으로부터 학습할 수 있게 됩니다. 오픈 모델을 기반으로 CompactionRL을 학습시킨 결과, 에이전트 코딩 과업 전반에서 일관된 성능 향상을 확인했습니다. CompactionRL을 적용한 오픈 GLM-4.5-Air 모델(106B-A12B)은 SWE-bench Verified에서 66.4%, Terminal-Bench 2.0에서 26.2%의 Pass@1 점수를 기록하여, 추론 시점의 압축만을 적용한 베이스 모델보다 각각 6.6점, 4.9점 높은 성과를 거두었습니다. 또한 GLM-4.7-Flash(30B-A3B) 기반의 CompactionRL은 베이스 모델 대비 Pass@1을 5.5점 및 6.7점 향상시켜 SWE-bench Verified에서 56.0%, Terminal-Bench 2.0에서 20.2%에 도달했습니다. 이에 따라 CompactionRL은 오픈 GLM-5.2 모델(750B-A40B) 학습을 위한 RL 파이프라인에 적용되었습니다.
원문 초록
Long-horizon agentic LLMs are increasingly limited by finite context windows, as extended interaction trajectories can exceed the maximum context length before a task is completed. Context compaction offers a natural solution by summarizing previous interaction states and continuing the rollout under a compressed context, but incorporating compaction into reinforcement learning remains underexplored. We propose CompactionRL, a reinforcement learning strategy to train long-horizon agentic LLMs with context compaction. Our approach jointly optimizes task execution and summary generation with token-level loss normalization and cross-segment generalized advantage estimation. This design enables the LLM agents to learn from compacted long-horizon trajectories. We train CompactionRL on top of open models and observe consistent performance gains on agentic coding tasks. CompactionRL enables the open GLM-4.5-Air model (106B-A12B) to achieve Pass@1 scores of 66.4% on SWE-bench Verified and 26.2% on Terminal-Bench 2.0, exceeding the base model under inference-time compaction by 6.6 and 4.9 points, respectively. Built upon GLM-4.7-Flash (30B-A3B), CompactionRL improves Pass@1 by 5.5 and 6.7 points against the base model, reaching 56.0% on SWE-bench Verified and 20.2% on Terminal-Bench 2.0. CompactionRL is thus deployed in the RL pipeline for training the open GLM-5.2 model (750B-A40B).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
트로피컬 강화학습
Tropical Reinforcement Learning
대규모 언어 모델(LLM)을 위한 강화학습(RL)은 일반적으로 모든 성공적인 궤적의 확률을 합산하여 기대 수익을 극대화합니다. 그러나 고전적인 합산 공식은 모델 정책이 얼마나 자주 성공하는지만 나타낼 수 있을 뿐 어떤 해법이 실제로 작동했는지는 알 수 없으며, 확률의 총합이 1이기 때문에 한 해법을 강화하면 틀렸다고 입증된 적이 없는 다른 해법을 모델이 잊어버리게 만들 수 있습니다. 이로 인해 기대 수익은 구성적 추론(compositional reasoning)에 잘 맞지 않습니다. 구성적 추론에서는 모델이 분리되어 종종 실패하는 시도들 속에서 생성하지만 한 번에 함께 생성하는 경우는 드문 여러 추론 단계들을 조합하여 하나의 해법을 구성해야 하기 때문입니다. 이를 해결하기 위해 우리는 대수 구조의 단순한 변경에 기반한 트로피컬 강화학습(Tropical Reinforcement Learning)을 제안합니다. 대안적 해법들의 확률을 더하는 대신 최댓값을 취하며, 이는 트로피컬 반환(tropical semiring)으로 이어집니다. 이에 따라 상태의 가치는 재생 및 재사용이 가능한 명시적 경로와 함께, 가장 가능성이 높은 검증된 해법의 로그 확률이 됩니다. 이는 서로 다른 롤아웃에서 나온 경우라도 공유된 상태에서 만나는 최선의 접두 문맥과 최선의 접미 문맥을 결합할 수 있으므로 진정한 구성을 가능하게 합니다. 이를 실제로 적용하기 위해, 검증 가능한 결과를 갖는 결정론적이고 재설정 가능한 환경을 위한 학습 알고리즘인 TROPIC을 도입합니다. 네 가지 에이전트 태스크(Sokoban, Countdown, FrozenLake, WebShop)에서 TROPIC은 가장 강력한 온-정책(on-policy) 베이스라인 대비 최대 16%포인트 높은 성능을 보입니다. 따라서 추정기뿐만 아니라 강화학습의 대수 구조를 변경하는 것은 언어 모델의 구성적 추론을 크게 향상시킬 수 있습니다.
온-정책 증류에서의 이득과 붕괴: 강화학습 관점
Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective
온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습(post-training)의 중요한 접근법으로 자리 잡았습니다. 그러나 이러한 성능 향상에도 불구하고, OPD는 지나치게 길고 반복적인 생성으로 붕괴될 수 있으며, 이러한 상반된 결과를 초래하는 기본 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 강화학습(RL) 관점을 통해 이러한 결과를 설명합니다. 즉, 교사(teacher) 모델은 자신이 거의 보이지 않는 행동에 대해서도 학생(student)의 행동에 암묵적으로 보상을 부여합니다. 이러한 관점에서, 본 연구의 실험은 OPD가 학생 모델의 역량을 확장하지 않고도 성능을 향상시킴을 보여줍니다. 암묵적 보상 모델이 신뢰할 수 있을 때, OPD는 정답 반응을 더 쉽게 샘플링할 수 있도록 만듭니다. 반면, 선호도가 품질과 불일치할 때는 보상 해킹(reward hacking)이 발생합니다. 교사 모델은 스스로 그러한 텍스트를 거의 생성하지 않음에도 불구하고, 암묵적 보상 모델은 지나치게 길고 반복적인 학생 롤아웃(rollout)을 증폭시킵니다. 이러한 진단을 바탕으로, 학습 중 비정상적인 반응을 마스킹하고 지도 미세조정(SFT) 초기화를 사용하는 것이 각각 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 종합하면, 이러한 발견은 OPD가 교사의 암묵적 피드백이 선호하는 학생 행동을 증폭시킨다는 점을 보여주며, 초점을 교사가 얼마나 잘 생성하는지에서 학생 롤아웃을 얼마나 신뢰성 있게 평가하는지로 전환시킵니다. 코드는 https://github.com/HancCui/opd_hacking 에서 확인할 수 있습니다.
가까운 미래로부터의 학습: RLVR을 위한 시간적 자기 증류
Learning from the Near Future: Temporal Self-Distillation for RLVR
검증 가능한 보상을 활용한 강화학습(RLVR)은 추론 모델을 위한 핵심 사후 학습(post-training) 기법이지만, 유용한 궤적을 발견하기 어렵거나 탐험(exploration)이 좁아질 때 순수 온-정책(on-policy) 학습은 비효율적일 수 있습니다. 기존의 자기 유도 방식들은 대체로 현재 또는 이전 단계의 학습자가 이미 보유한 역량을 재사용합니다. 우리는 그 대신 학습 과정 후반에 발현되는 역량 역시 학습에 활용할 수 있는지 질문을 던집니다. 모델이 자신의 미래 자아로부터 학습할 수 있을까요? 본 논문에서는 정책이 자신보다 더 강력한 이후 시점의 체크포인트로부터 지침을 받는 시간적 자기 증류(temporal self-distillation)를 제안합니다. 우리는 가장 유용한 시간적 교사가 반드시 가장 강력한 교사일 필요는 없다고 가설을 세웠습니다. 즉, 교사는 충분히 새로운 역량을 제공하는 동시에 해당 역량이 쉽게 전이될 수 있을 만큼 호환성을 유지해야 하며, 이는 가까운 미래 체제(near-future regime)의 필요성을 시사합니다. 우리는 상호 보완적인 두 가지 메커니즘을 통해 이 원리를 연구합니다. Near-Future Policy Optimization(NPO)은 검증된 미래 자아의 궤적을 사용하여 오프-정책(off-policy) 행동 전이를 수행하는 반면, Near-Future Policy Distillation(NPD)은 학습자가 생성한 궤적에서 온-정책 토큰 수준 전이를 수행합니다. 또한, 시간적 지침이 유용한 시점과 롤백할 거리를 적응적으로 결정하여 미래 자아 지침을 반복적인 자기 부트스트랩 과정으로 전환하는 AutoNPO를 추가로 제안합니다. 8개의 이미지-텍스트 벤치마크 전반에서 NPO는 GRPO 성능을 60.25에서 62.84로 향상시키고 AutoNPO는 63.15에 도달했으며, 텍스트 전용 및 비디오 추론에서도 일관된 성능 향상을 보였습니다. NPD 환경에서 가까운 미래 교사는 증류 직후의 성능이 더 낮음에도 불구하고 지속적인 강화학습 후 63.23에 도달하여 먼 미래 교사의 61.92를 넘어섰습니다. 종합적으로 이러한 결과는 효과적인 시간적 자기 증류가 단순히 교사의 능력치에만 의존하는 것이 아니라, 새롭게 획득한 역량과 학습자와의 호환성 간의 균형에 달려 있음을 시사합니다.
Making Language Model a Hierarchical Classifier and Generator
InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing
Describe Anything Model for Visual Question Answering on Text-rich Images
토론
이 논문과 연결된 포럼 글이 아직 없습니다.