arXiv:2610.02404v1 cs.LG

학습된 에이전틱 컨텍스트 관리

Trained Agentic Context Management

Bryce Sandlund

제출 2026-10-01

저자 비고

arXiv Comments

17 pages, 6 figures, 4 tables. Code: https://github.com/brycesandlund/infinite-context. Under review

한국어 초록

본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.

원문 초록

We study long context language models. Instead of training long context natively, or designing a long context harness, we train a model over the simplest possible harness: a tool to call itself with any specified prompt and a tool to read tokens in a range from the input context. We finetune Qwen3.6-35B-A3B on a diverse synthetic dataset using this harness. With only 8,000 tokens of context, our small model is as strong as GPT-5.4 with 1M tokens of context on the OOLONG-synth benchmark when document length exceeds 40K tokens.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02404v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27590v1cs.CL공통 태그 Language Modeling, In-Context Learning, long context

MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다

MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors

장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.

arXiv:2609.18842v2cs.AI공통 태그 Mixture-of-Experts, Language Modeling, In-Context Learning

무한-매개변수 LLM: 실시간 데이터로부터 가중치 생성 및 적응

Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

스케일링 법칙에 따르면 언어 모델은 매개변수와 학습 데이터가 늘수록 더 유능해진다. 전문가 혼합(MoE) 아키텍처는 이러한 법칙의 두드러진 사례로, 거대한 매개변수 뱅크 중 각 토큰마다 일부만 활성화한다. 그러나 이 성공은 정적인 사전학습 데이터에 기반한다 — 배포된 모델이 실시간 상호작용 중 사용자가 제공하는 사실과 수정은 잠재적 개선의 중요한 미개발 원천이지만, 학습 후 가중치가 고정되는 기존 아키텍처로는 활용할 수 없다. 대신 이러한 새 지식은 문맥(지시 또는 검색)에 넣어 매 요청마다 다시 읽어야 하며, 이후에는 버려진다. 우리는 대신 실시간 상호작용으로부터 학습하기 위해 모델 가중치를 동적으로 갱신하고자 한다. MoE에서 영감을 받아 \textbf{Infinite-Parameter LLM}을 제안한다. 소형 하이퍼네트워크가 온라인 데이터를 공유 기반 네트워크에 대한 저랭크 변조로 바꾸므로, 피드포워드 가중치는 정적 메모리에서 읽는 것이 아니라 실시간 데이터로부터 생성된다. 기존 가중치 생성기는 문맥을 한 번 읽은 뒤 고정되는 반면, 우리는 생성기의 잠재 상태에 대한 베이지안 신념을 형성하고 이를 온라인으로 갱신하여, 세션 동안 신념이 진화함에 따라 유효 가중치가 다시 도출되도록 한다. 모델의 메모리 사용량은 일정하지만, 생성 가능한 가중치의 실현 공간은 사실상 무한하다. 실시간 데이터를 프롬프트가 아닌 가중치에 담으면 연산을 상각(amortise)하고, 컨텍스트 윈도우를 비우며, 턴 간 갱신을 유지하고, 문맥 내 사용보다 더 잘 일반화할 수 있다. 우리의 평가 프로토콜은 이 방법론을 문맥 내 학습(ICL)과 검색에 적용한다.

arXiv:2607.24653v2cs.CL공통 태그 Mixture-of-Experts, Language Modeling, long context

Kimi K3: 오픈 프론티어 인텔리전스

Kimi K3: Open Frontier Intelligence

Kimi K3를 소개한다. Kimi K3는 2.8T 매개변수 전문가 혼합(MoE) 모델로, 1040억 개의 활성화 매개변수, 네이티브 비전 기능, 100만 토큰 컨텍스트 윈도우를 갖춘다. Kimi K3는 Kimi Delta Attention과 Attention Residuals 위에 구축되었으며, 이는 시퀀스 길이와 모델 깊이에 걸친 정보 흐름을 개선한다. Stable LatentMoE—토큰당 896개의 라우팅된 전문가 중 16개를 효과적으로 활성화—와 정제된 학습 및 데이터 레시피와 함께, 이러한 발전은 Kimi K2 대비 전체 스케일링 효율을 약 2.5배 개선한다. 사후 학습에서는 일반, 에이전트(agentic), 코딩 영역과 다양한 추론 노력 수준에 걸친 강화학습을 강조하며, 이를 통해 조합적 일반화와 견고한 장기 실행을 가능하게 한다. 2.8T 규모에서 Kimi K3는 여러 영역의 인프라 발전을 통해 뒷받침된다: KDA를 위한 알고리즘-시스템 공동 설계, 효율적인 메모리 관리를 갖춘 완벽하게 균형 잡힌 전문가 병렬 학습, 지속적인 롤아웃과 샌드박스 상태를 갖춘 100만 토큰 에이전트 강화학습(RL), 그리고 배포 혁신. 광범위한 평가에서 Kimi K3는 장기 코딩, 에이전트, 지식, 추론, 비전 과제 전반에서 프론티어 수준의 성능을 달성함을 보여준다. 전체 성능은 여전히 Claude Fable 5와 GPT-5.6 Sol 등 가장 강력한 독점 모델에 미치지 못하지만, Kimi K3는 우리 평가 스위트에서 평가한 다른 오픈 및 독점 모델을 일관되게 능가한다. 향후 연구를 촉진하고 프론티어 인텔리전스의 더 넓은 배포와 채택을 가속하기 위해 Kimi K3 모델의 전체 가중치를 공개한다.

arXiv:2610.15836v1cs.CL공통 태그 Language Modeling, In-Context Learning

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

arXiv:2610.13370v1cs.CL공통 태그 Mixture-of-Experts, Language Modeling

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2607.23693v2cs.AI공통 태그 Language Modeling, In-Context Learning

전역적으로 계산하고 국소적으로 구체화하기: 희소 이벤트-KV의 메모리 계약

Compute Globally, Materialize Locally: The Memory Contract of Sparse Event-KV

장기 호라이즌(long-horizon) 에이전트는 점점 더 KV 캐시를 메모리로 재사용하고 있으며, 서빙 시스템은 캐시된 항목의 일부만 유지하고 나머지는 제거(eviction)합니다. 따라서 축출 및 에피소드 메모리 방식은 거의 직접 검증되지 않은 전제, 즉 이벤트를 생성한 관측(observation)이 사라진 뒤에도 보존된 이벤트가 여전히 유용한 정보를 담고 있다는 전제에 의존합니다. 우리는 다른 조건이 동일한 에이전트 이력에서 서빙되는 내용 중 이전 관측 하나를 생략함으로써 이를 직접 검증합니다. 해당 관측에 민감한 항목들 중에서, 서빙된 텍스트 구간(span)에 어떤 값이 올바른지 명시되어 있지 않음에도 답은 압도적으로 생략된 값을 따릅니다. 우리는 이를 의미론적 구체화(semantic materialization)라고 부릅니다. 즉, 하류(downstream) 이벤트의 캐시된 행들이 입력이 사라진 계산에 대해 독립적으로 서빙 가능한 뷰(view) 역할을 하는 것입니다. 이는 의도적으로 작성될 수도 있습니다. 의도적으로 표현된 무정답(answer-free) 이벤트는 값을 전혀 언급하지 않고도 Qwen3-8B에서 기증자 정렬 복구(donor-aligned recovery)를 6%에서 51%로 향상시키는 반면, 장기 대화에서 자연스러운 언급을 수동적으로 수집하는 방식은 감지 가능한 이점을 보이지 못합니다. 이러한 행이 전달하는 정보는 구체적이고 제한적입니다. 간결한 상태(compact state)는 유지되지만 더 큰 페이로드는 무작위 확률 수준으로 감쇠하며, 특정 구조가 정보를 기록하는지 여부는 의미뿐만 아니라 표현 방식(phrasing)에 달려 있어 모델이 동등하게 이해하는 두 표현 간에도 큰 차이가 발생할 수 있습니다. 그 결과는 무엇을 기록할지, 어디에 도달할지, 소스가 사라진 후 무엇이 살아남는지를 규정하는 희소 이벤트-KV(sparse event-KV) 서빙을 위한 메모리 계약(memory contract)입니다. 캐시 축출을 수행하는 이들에게 따르는 당연한 귀결은, 소스 이벤트를 제거하고 정확도 손실이 관찰되지 않았다고 해서 그 소스가 불필요했음을 증명하는 것은 아니라는 점입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.