PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02404v1cs.LG

학습된 에이전틱 컨텍스트 관리

Trained Agentic Context Management

본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.

arXiv:2609.27298v1cs.AI

StateComp: 장기 에이전트에서 과거 기록을 언제 압축할지 학습

StateComp: Learning When to Compress History in Long Horizon Agents

장기 에이전트는 과업 수행 중 상호작용 기록을 지속적으로 축적하지만, 에이전트 상태가 변함에 따라 과거 상호작용의 중요도는 달라진다. 기존 컨텍스트 관리 방법은 대부분 고정 윈도우, 주기적 스케줄, 또는 현재 관련성에 따라 기록을 압축하여, 더 근본적인 질문인 ‘과거 상호작용을 안전하게 대체할 수 있는 시점은 언제인가’를 간과한다. 성급한 압축은 미래 행동에 여전히 필요한 정보를 제거할 수 있고, 지나치게 보수적인 보존은 상당한 컨텍스트 오버헤드를 초래한다. 이를 위해 우리는 현재 에이전트 상태에 따라 과거 상호작용을 언제 안전하게 압축할 수 있는지 판단하는 프레임워크인 상태 조건 압축(State Conditioned Compression, StateComp)을 제안한다. StateComp는 2단계 어노테이션 절차로 KEEP 및 READY 지도(supervision)를 구성하고, 동결된 언어 모odel의 은닉 표현 위에서 불균형 인식(imbalance-aware) 라우터를 학습한다. 유계(bounded) 상태 표현은 긴 기록 평가 비용을 더 줄이며, 인접한 READY 상호작용은 연속 구간으로 묶여 실행 중 간결한 요약으로 대체된다. WorkBuddyBench 실험에서 StateComp는 과업 성능을 유지하면서 에이전트 및 요약 토큰 총량을 52.27% 줄였고, 표현 추출에서 12.67배 속도 향상을 달성했다.

arXiv:2606.31650v4cs.LG

ECHO: 에이전틱 강화학습에서 선택적 턴 메모리를 활용한 행동을 위한 가지치기 및 학습을 위한 추적

ECHO: Prune To Act, Trace To Learn With Selective Turn Memory In Agentic RL

장기 수평 언어 에이전트는 제한된 컨텍스트 윈도우 내에서 도구와 반복적으로 상호작용하고, 증거를 축적하며, 의사결정을 내려야 한다. 컨텍스트 관리 방법은 삭제, 폴딩, 또는 메모리 편집을 통해 과거 상호작용을 단순화함으로써 이러한 롤아웃을 실현 가능하게 만든다. 그러나 유용한 이력이 압축된 상태로 축소되면, 재구성된 컨텍스트는 어떤 이전 관찰이 성공적인 최종 답변을 뒷받침하는지 더 이상 드러내지 못할 수 있다. 이는 제한된 컨텍스트 기반 행동과 결과 기반 강화학습 사이의 불일치를 야기한다: 정책은 재구성된 컨텍스트에서 행동하지만, 학습자는 중요했던 증거에 크레딧을 할당하기 위한 소스 수준의 출처 정보를 갖지 못한다. 우리는 에이전틱 강화학습에서 추적 가능한 컨텍스트 재구성을 위한 선택적 턴 메모리 프레임워크인 ECHO를 제안한다. ECHO는 완료된 각 환경 턴을 소스 인덱싱된 메모리 레코드로 압축하고, 유용한 레코드를 선택하여 제한된 정책 컨텍스트를 재구성하며, 선택된 소스 인덱스를 재사용하여 긍정적 결과 크레딧을 최종 궤적 세그먼트, 재사용된 증거 턴, 메모리 발견 사항, 그리고 메모리 선택 행동에 라우팅한다. BrowseComp-Plus에서 ECHO는 43.4%의 held-out 정확도를 달성하여, GRPO의 28.9% 및 롤링 요약 기준선인 SUPO의 36.1%를 능가하면서 SUPO보다 적은 턴과 낮은 궤적 볼륨을 사용한다. 학습된 정책은 또한 밀집형(dense) 및 전문가 혼합(MoE) 백본 모두에서 다목적 QA, 코드 생성, 심층 정보 탐색 벤치마크에 걸쳐 제로샷 일반화를 향상시킨다.

arXiv:2607.20764v1cs.AI

ArbiGraph: 컨텍스트 관리 평가를 위한 임의 확장 가능한 검증 태스크 그래프

ArbiGraph: Arbitrarily Scalable Verifiable Task Graphs for Evaluating Context Management

우리는 확장된 추론 워크플로에서 도구 지원 언어 에이전트가 작업 관련 컨텍스트를 유지, 갱신, 조합, 폐기할 수 있는지 평가하기 위한 벤치마크 생성기인 ARBIGRAPH를 소개한다. ARBIGRAPH는 각 작업을 실행 가능한 Python 솔버가 있는 자연어 문제로 표현하며, 여기서는 스칼라 및 리스트 값으로 구현된 타입이 지정된 중간 상태를 통해 작업을 구성한다. 이 설계는 길이, 의존성 구조, 방해 요소(distractor) 수, 값 유형을 변화시킬 수 있는 제어 가능한 태스크 그래프를 가능하게 하면서 정확한 자동 검증을 유지한다. 우리는 수학, GSM 스타일 단어 문제, Python 추적 작업 범주로 ARBIGRAPH를 구현하고, 네 가지 토폴로지에 걸쳐 Qwen3.5-27B 도구 지원 에이전트를 평가한다. 결과는 독립 작업에서 높은 정확도를 보이지만 더 복잡한 의존 작업에서는 상당한 성능 저하를 보인다: 의존 수학 작업의 분기 체인에서 정확도가 최대 33.3%까지 하락한다. 이는 ARBIGRAPH가 단일 작업 평가만으로는 드러나지 않는 실패를 노출함을 보여준다. 코드, 생성된 데이터셋, 평가 결과는 https://github.com/pavelgolikov/ArbiGraph.git 에서 이용할 수 있다.

arXiv:2607.09493v1cs.AI

에이전틱 LLM 시스템을 위한 공유 선택적 영속 메모리

Shared Selective Persistent Memory for Agentic LLM Systems

멀티턴 도구 사용을 통해 코드를 생성하는 에이전틱 대규모 언어 모델(LLM) 시스템은 근본적인 컨텍스트 문제에 직면한다. 각 세션은 처음부터 시작되어, 이전 세션을 생산적으로 만들었던 설정 선택, 도메인 제약, 데이터 스키마, 도구 사용 패턴이 폐기된다. 전체 대화 이력을 무분별하게 유지하는 방식은 토큰 비효율적이며 역효과를 낳는다. 관련 없는 컨텍스트는 생성 품질을 저하시키기 때문이다. 우리는 공유 선택적 영속 메모리(shared selective persistent memory)를 소개한다. 이는 재사용 가능한 컨텍스트의 네 가지 범주(태스크 명세, 데이터 스키마, 도구 설정, 출력 제약)를 식별하고 유지하면서 세션별 추론 흔적은 폐기하는 아키텍처다. 핵심적으로, 이 메모리는 공유된다. 선택적 메모리를 캡슐화한 워크스페이스는 역할 기반 접근 제어를 통해 사용자 간에 전달될 수 있어, 중복 명세 없이 협업적 재사용이 가능하다. 우리는 이를 LLM 에이전트가 이종 소스(CSV, SQL, REST API, MCP 서버)로부터 git 버전 관리 아티팩트(대시보드, 보고서, 데이터 기반 문서)를 생성·편집·유지하는 배포된 협업 워크스페이스 플랫폼에 구현했다. 보완적인 제로-토큰 데이터 갱신 메커니즘은 생성된 프로그램을 런타임 데이터로부터 분리하여, LLM 재호출 없이 아티팩트 재사용을 가능하게 한다. 세 가지 엔터프라이즈 시나리오에서, 공유 선택적 영속 메모리는 96%의 태스크 완료율을 달성했다(메모리 없이 79%, 전체 이력 사용 시 71%에 비해). 제로-토큰 갱신은 반복 업데이트에서 LLM 재호출을 제거하여(태스크 시간 14배 단축), 요약 기반 생성은 원시 데이터 주입 대비 호출당 토큰 비용을 97배 절감한다. 네 개의 공개 데이터셋에 대한 재현 실험이 일반화 가능성을 확인하며, 제로-토큰 갱신은 12/12 시험에서 성공했다. 특히, 단순한 전체 이력 유지는 에이전트를 오래된 흔적으로 편향시켜 완료율을 오히려 저하시키는 반면, 선택적 메모리는 양 극단을 모두 능가한다.

arXiv:2607.00692v1cs.AI

Self-GC: Self-Governing Context for Long-Horizon LLM Agents

Long-horizon LLM agents accumulate tool results, files, plans, and user constraints that are too structured to be treated as a disposable text suffix. Current systems mostly rely on in-run heuristics such as chronological pruning and tool-output masking, or on final self-summary near a context limit. Heuristics are cheap but blind to future dependencies; summaries preserve narrative state but often hide exact evidence, locators, and editable artifacts. We present Self-GC, where GC denotes self-governing context while deliberately echoing garbage collection: the system does not merely reclaim unused tokens, but governs the lifecycle of agent context objects. Self-GC turns user turns, tool spans, and skill state into indexed objects; asks a side-channel planner to propose fold, mask, and prune actions; and lets the harness enforce recoverable sidecars, safe commit boundaries, and cache-aware commit. On a 33-session Hard Set, Self-GC prunes 43.95% of prefix tokens while leaving 84.85% of future continuations unaffected, compared with no-impact rates of 54.55% to 69.70% for heuristic baselines. On a 332-session production-derived suite, three planner backbones reach no-impact rates of 91.27% to 94.58%, while baselines remain at 77.71% to 87.46%. In production, an online account-level split reduces daytime average input tokens by 10% to 15%, with peak reductions near 20%. These results point to context management as runtime lifecycle control over indexed, recoverable objects rather than post hoc text cleanup.

arXiv:2606.31564v1cs.AI

ACE: Pluggable Adaptive Context Elasticizer across Agents

에이전트(agent) 기반 LLM의 컨텍스트 윈도우 한계를 해결하기 위해, ACE(Adaptive Context Elasticizer)는 원본 메시지와 압축 요약을 손실 없이 유지하는 메시지 관리 레이어와, 매 결정 단계마다 각 이력 메시지를 raw·abstract·drop 중 하나로 탄력적으로 재구성하는 컨텍스트 오케스트레이션 레이어를 분리하는 플러그인 모듈을 제안한다. 추가 학습이나 아키텍처 수정 없이 ReAct, DeepAgent, WebThinker, MiroFlow 등 네 가지 에이전트 프레임워크에 적용한 실험에서 기존의 단순 절단(truncation) 및 요약(summarization) 기법을 일관되게 능가하는 성능 향상을 보였다.

arXiv:2606.22953v1cs.AI

계획은 지속되지 않는다: 컨텍스트 관리가 대규모 언어 모델 에이전트에게 핵심적(load bearing)인 이유

Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents

장기 지평(long-horizon) 에이전트는 컨텍스트 관리에 의존한다: 시스템은 오래된 토큰을 압축·요약·제거하여 유한한 윈도우를 넘어 작업을 계속할 수 있도록 한다. 이는 삭제된 정보가 더 이상 필요하지 않거나 이미 내재화되었을 때에만 안전하다. 계획(plan)은 극단적 사례(stress case)이다: 계획은 초기에 작성되고, 여러 단계에 걸쳐 사용되며, 가장 먼저 제거된다. 우리는 리플레이 페어링(replay pairing)을 도입한다. 이는 히스토리에 계획이 포함된 경우와 그렇지 않은 경우에 동일한 궤적(trajectory)을 실행하고 은닉 상태(hidden-state) 코사인 거리를 측정하는 진단 도구이다. Llama-3.1-70B에서 계획 신호는 계획 직후 한 단계에서 0.453으로 급상승한 뒤, 단일 행동-관찰 단계에서 4.1배 하락한다; HotpotQA에서는 12.4배 하락한다. 이는 표준 대규모 언어 모델(LLM) 에이전트가 계획을 지속적 상태로 유지하지 않으며, 대신 계획이 컨텍스트에 남아 있는 것에 의존한다는 증거이다. L32 층 프로브(probe)는 이 감쇠를 진단 도구로서 탐지하지만, 이것이 계획 내용 자체를 읽는다는 증명은 아니다. 추론 모델(reasoning model)은 측정 교란 요인(confound)을 추가한다: 해당 모델의 `<think>` 추적이 계획 내용을 재도출하기 때문에, 표준 스트리핑(stripping)은 스트리핑된 조건에 계획 증거를 남긴다. 우리는 이를 추론-추적 교란(reasoning-trace confound)이라 명명하고, 엄격한 스트리핑(strict stripping)으로 수정한다. 엄격한 스트리핑은 스트리핑된 실행에서만 이전 `<think>` 블록을 제거한다. 이 방법은 인샘플(in-sample)에서 단계+1 신호의 +163%를, 홀드아웃에서 +153%를 회복하며, 비추론 Llama에는 의미 있는 변화를 주지 않는다(+4.8%). DeepSeek-R1-Distill-Llama-70B에서 Llama로 학습된 프로브는 AUROC 0.748(p=6e-4)로 전이되는 반면, R1 특화 프로브는 1.000에 도달하며, 이는 R1이 계획 신호를 다른 은닉 상태 방향으로 인코딩함을 시사한다. 마지막으로, 압축 스트레스 테스트는 실질적 비용을 보여준다: 단순 계획 제거는 ALFWorld 성공률을 34.7pp 감소시키는 반면, 프로브 기반 재표면화(probe-gated re-surfacing)는 이를 회복하지 못한다. 본 연구의 기여는 에이전트에 중요한 정보가 지속적 상태가 아닌 컨텍스트 상주(context-resident) 상태일 수 있음을 보여주는 측정 및 스트레스 테스트 프레임워크이다. 컨텍스트 관리는 핵심적이지만, 계획 보호만으로는 충분하지 않다.

arXiv:2606.11213v1cs.CL

압축을 넘어서: 장기 수평 에이전트를 위한 구조화된 컨텍스트 제거

Beyond Compaction: Structured Context Eviction for Long-Horizon Agents

본 논문에서는 장기 수평(long-horizon) LLM 에이전트에게 사실상 무제한의 작업 범위를 제공하는 컨텍스트 관리 체계인 Context Window Lifecycle (CWL)을 제시합니다. 세션이 기록을 축적해 감에 따라 CWL은 단계적이고 의미를 인식하는 방식의 제거(eviction)를 통해 컨텍스트를 예산 내로 유지합니다. 즉, 에이전트는 작업 진행 중 자신의 궤적을 유형화되고 의존성이 연결된 에피소드로 주석 달고, 토큰 예산 초과 시 해당 구조 내에서 우선순위에 따라 콘텐츠를 제거하는 결정론적이며 LLM을 사용하지 않는 정책을 적용합니다. CWL은 사용자 턴과 에이전트가 현재 적극적으로 추론 중인 탐색적 컨텍스트는 보존하면서, 그 효과가 이미 환경에 반영된 행동 에피소드는 적극적으로 제거하여, 활성 컨텍스트를 안정적인 상한선 근처로 유지함으로써 매우 큰 프롬프트와 관련된 성능 저하를 방지합니다. 요약 기반 압축(compaction)과 비교할 때 CWL은 예측 불가능한 정보 손실, 인과 구조 파괴, 모델 비용에 의한 차단, 압축으로 인한 환각(hallucination)이라는 네 가지 잘 알려진 문제를 회피합니다. 최신성 기반 잘라내기(recency truncation)와 비교할 때 CWL은 의미를 인식합니다. 즉, 관련성 여부와 상관없이 시간 순서상 가장 오래된 콘텐츠를 삭제하는 대신, 의존성 그래프에 따라 가장 오래되었으면서도 복구 가능한 콘텐츠를 삭제합니다. 본 논문에서는 주석 프로토콜, 에피소드 그래프, 제거 정책, 토큰 계산 루프를 설명하고 장기 수평 에이전트 벤치마크에서 CWL을 평가합니다. 그 결과, 8,000만 토큰에 걸쳐 89개의 순차적 작업을 완료한 단일 에이전트 세션이 작업별 독립 세션에 비해 작업 정확도의 측정 가능한 저하 없이 수행되었습니다.