arXiv:2606.25342v1 cs.LG

Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention

Luke McDermott, Robert W. Heath, Rahul Parhi

제출 2026-06-24

원문 초록

Lifelong continual learning remains an obstacle on the path to human-like intelligence. Modern transformers show sparks of intelligence with in-context learning. The quadratic nature of attention, however, prohibits transformers from performing this process on arbitrarily long sequences. In this work, we argue that extending in-context learning to lifelong settings is a practical solution for continual learning in AI agents. In particular, we argue that \emph{parametric forms of attention} are needed to understand a lifetime of context with transformers on a fixed hardware budget. These attention mechanisms learn the relationship between keys and their associated values at test-time with parametric regression. Our generalization of parametric approaches (linear attention, state-space models, fast weight programmers, and test-time training layers) contrasts with nonparametric counterparts like softmax attention. They replace the ever-growing key-value cache with an online-trainable neural network, maintaining a constant memory footprint. We highlight how parametric attention currently fall short of lifelong learning due to limited memory capacity or costly online updates. To address these issues, we pose a set of open questions with novel insights to guide the field toward long-horizon agents.

요약

Softmax 어텐션의 이차 복잡도와 무한히 커지는 KV 캐시 때문에 트랜스포머는 고정 하드웨어에서 임의 길이의 평생(lifelong) 문맥 내 학습(ICL)에 한계가 있으며, 선형 어텐션·상태공간 모델·테스트타임 학습 등 파라미터형 어텐션으로 키-값 관계를 테스트 시 온라인 회귀로 압축해야 한다고 주장한다. 다만 현재 파라미터형 방식은 메모리 용량 부족과 비용 큰 온라인 업데이트로 평생 학습에 미치지 못해, 장기 에이전트를 위한 개방 질문과 연구 방향을 정리한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.25342v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10761v1stat.ML공통 태그 In-Context Learning, linear attention

선형 어텐션은 비선형 교사로부터 문맥 내에서 무엇을 학습할 수 있는가?

What can linear attention learn from nonlinear teachers in-context?

선형 어텐션(linear attention)은 트랜스포머의 문맥 내 학습(ICL)을 지배하는 메커니즘을 이해하기 위한 다루기 쉬운 모델이다. 선형 회귀 태스크의 경우, 최근의 점근적 분석을 통해 그 학습 및 일반화 동작이 규명된 바 있다. 본 연구에서는 이 이론을 비선형 단일 인덱스 타깃 $y=f(x^\top w)+\varepsilon$으로 확장한다. 본 연구의 주요 결과는 비선형성-노이즈 등가성(nonlinearity-noise equivalence)을 확립한다. 즉, 선형 어텐션은 $f$의 선형 에르미트(Hermite) 성분만을 추출하며, 나머지 비선형 구조는 유효 노이즈로서 일반화 오차에 기여한다. 이러한 축소를 통해 해당 선형 이론의 결과들을 비선형 태스크로 이전할 수 있다. 본 연구에서는 유한한 사전학습(pre-training) 데이터 환경과 태스크 다양성 증가에 따른 태스크 암기에서 태스크 일반화로의 전이에 대해 이것이 갖는 함의를 보여준다. 이러한 결과는 축소된 선형 어텐션 모델의 한계를 규명하고, 비선형 문맥 내 학습을 연구하기 위한 다루기 쉬운 출발점을 제공한다.

arXiv:2610.02687v2cs.AI공통 태그 Continual Learning, In-Context Learning

컨텍스트와 메모리의 분리: 토큰 효율적인 테스트 시간 지속 학습을 위한 구조화된 메모리

Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning

대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.

arXiv:2607.14396v1cs.AI공통 태그 Continual Learning, In-Context Learning

CatalogAgent: 생성형 AI 모델의 컨텍스트 엔지니어링을 가능하게 하는 감독 에이전트 중재형 자기학습 시스템

CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.

arXiv:2607.11020v2cs.CL공통 태그 Continual Learning, In-Context Learning

언어 모델은 가중치에 사실을 지속적으로 학습할 수 있는가?

Can a Language Model Learn Facts Continually in Its Weights?

지속 학습(continual learning)은 학습 이후에도 계속해서 지식을 습득하며 각각의 새로운 사실을 가중치에 기록하는 언어 모델을 실현할 것을 약속한다. 가중치 쓰기(weight write)가 지식 축적을 뒷받침할 수 있는지는 아직 결론이 나지 않았다. 우리는 Qwen3 모델에 기록된 가상의 사실들을 생성 시점부터 20회에서 100회에 이르는 이후 쓰기 시퀀스까지 추적하며, 다섯 가지 유형의 검증용 질문을 사용하고, 원본 모델이 해당 사실을 프롬프트에 제공받은 경우를 참조 기준으로 삼는다. 이러한 실험들 전반에 걸쳐, 학습 데이터의 다양성이 생성되는 지식의 종류를 결정한다. 단순 진술(bare-statement) 학습은 암기(recitation)를 유발하는 반면, 다양한 재진술은 모델에 결론을 직접 보여주지 않고도 암기-활용 격차를 27.4포인트에서 5.4포인트로 줄인다. 이 차이는 이후 쓰기에도 이어진다: 20회의 순차적 쓰기 이후, 단순 진술 방식의 사실은 정확도 1%를 유지하는 반면, 광범위한 학습 데이터로 기록된 사실은 46%를 유지한다. 또한 우리는 사실들이 가중치에서 지워지지 않고도 행동적으로 망각될 수 있음을 발견한다. 망각된 사실들은 쓰기에 의해 추가된 로그 확률(log-probability)의 대부분을 유지하며, 단순 진술 학습 하에서 해당 사실에 대한 오답의 70%는 가장 최근에 기록된 사실을 포함한다. 동일한 쓰기 과정은 컨텍스트 내 모델의 사실 활용 능력을 거의 저하시키지 않으며, 프롬프트에 제공된 망각된 학습 사실은 해당 질문들에서 77~80%까지 회복된다. 이러한 결과들은 저장되지만 질문에 의해 접근 경로가 결정되는 지식을 보여준다: 이후 쓰기는 해당 지식에 도달하는 질문들을 재경로화한다. 관련 없는 능력에 대한 손상은 원본 모델로부터의 KL 발산을 따르며, 이후 쓰기는 이전 사실이 저장된 방식과 무관하게 간섭을 유발한다. 광범위한 데이터는 활용 가능한 지식을 생성할 수 있고, 고정된 참조 모델은 능력을 보존할 수 있지만, 각 쓰기의 정확한 국소 측정에 기반한 방법을 포함하여 우리가 테스트한 어떤 개입도 이전 사실들을 접근 가능한 상태로 유지하지 못한다. 사실들이 조합되어야 하거나 이후 쓰기를 견뎌야 할 때, 신뢰할 수 있는 채널은 가중치가 아닌 컨텍스트이다.

arXiv:2607.11374v1cs.LG공통 태그 Continual Learning, In-Context Learning

그래프-테이블 정렬을 통한 놀랍도록 단순하고 효과적인 다중 도메인 그래프 파운데이션 모델

Surprisingly Simple and Effective Multi-Domain Graph Foundation Model through Graph-to-Table Alignment

그래프 파운데이션 모델(GFM)은 다양한 그래프 도메인에 걸쳐 전이 가능한 표현을 학습하는 유망한 패러다임으로 부상하고 있다. GFM의 최근 발전은 그래프 신경망(neural network)과 대규모 언어 모델(LLM) 기반 방법이라는 두 패러다임이 주도해 왔다. 그러나 이러한 방법들은 제한된 데이터로의 학습(training)과 텍스트 속성에 대한 과도한 의존 사이의 근본적인 딜레마에 직면하는 경우가 많다. 테이블형 파운데이션 모델(TFM)은 노드(node) 피처와 표현을 자연스럽게 테이블 형태로 구성할 수 있다는 점에서 잠재적인 대안을 제공한다. 그러나 TFM이 그래프의 구조적 정보를 효과적으로 포착할 수 있도록 하는 방법은 아직 충분히 탐구되지 않았다. 핵심 과제는 TFM의 그래프 구조 이해를 가능하게 하는 그래프-테이블 정렬 메커니즘을 학습하는 것이다. 이를 해결하기 위해 우리는 텍스트 불필요 그래프 파운데이션 모델을 위한 놀랍도록 단순하면서도 효과적인 그래프-테이블 정렬 프레임워크인 GTAlign을 제안한다. 구체적으로, 먼저 다양한 그래프를 통합된 잠재 공간에 매핑하여 도메인 불가지론적 그래프 표현을 포착하는 그래프 인코더를 사전학습(pre-training)한다. 그래프 위상과 테이블형 표현 공간 사이의 간극을 추가로 좁히기 위해, 그래프 커뮤니티에서 도출된 의사 레이블을 사용하여 퓨샷(few-shot) 예측 에피소드를 구성하는 커뮤니티 유도 연속 사전학습을 제안한다. 마지막으로 그래프 인코더를 미지의 타깃 도메인에 적응시키고 문맥 내 학습(ICL) 방식으로 추론(inference)을 수행한다. 5개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 GTAlign이 노드 및 그래프 분류(classification) 모두에서 최신 기준 모델(baseline)을 크게 능가함을 보여주며, 단순하고 효과적인 텍스트 불필요 GFM 모델임을 입증한다. 코드는 논문 게재 승인 후 공개될 예정이다.

arXiv:2607.09560v1cs.AI공통 태그 Continual Learning, In-Context Learning

고정된 표현을 넘어서: 개방형 AI에서의 어휘 격차와 검증자 격차

Beyond Fixed Representations: The Vocabulary and Verifier Gaps in Open-Ended AI

현대 AI 시스템은 추론, 코딩, 정리 증명, 도구 사용, 장기적 연구 과제 등의 능력을 평가받는 경우가 점점 늘어나고 있다. 이러한 능력들은 강력하지만 구조적 한계를 공유한다. 즉, 모델이 작동하는 표현 프레임—개념적 어휘, 탐색 가능한 허용 해(admissible solution) 공간, 성공 판단 기준—이 사전에 고정되어 제공된다는 점이다. 본 논문은 개방형 혁신(open-ended innovation)이 가능한 더 강력한 지능형 시스템을 구축하기 위해서는 추가적인 연산 방식이 필요하다고 주장한다. 이는 새로운 표현 기본 요소(representational primitives)의 생성, 안정화, 재사용으로, 기존 공간 내에서 단순히 탐색하는 것이 아니라 탐색 공간 자체를 변경하는 것이다. 우리는 현재 AI 시스템과 진정한 개방형 지능 사이의 거리를 두 가지 격차로 특성화한다. 첫 번째는 어휘 격차(vocabulary gap)로, 기존 표현을 단순히 재조합하는 것이 아니라 새로운 표현 기본 요소를 발명하고 안정화하는 어려움이다. 두 번째는 검증자 격차(verifier gap)로, 새로운 기본 요소의 완전한 가치가 미래의 재사용 이후에야 비로소 가시화될 수 있을 때 그 가치를 판단하는 어려움이다. 우리는 두 격차 모두를 지능을 인지적 불일치 감소(cognitive discrepancy reduction)로 보는 통합 프레임워크를 통해 해석한다. 지능적 행동을 인지적 변환의 연쇄로 바라봄으로써, 고정된 표현 프레임 내에서 작동하는 공간 내 변환(intra-space transformation)과 프레임 자체를 수정할 수 있는 생성적 변환(generative transformation)을 구별한다. 이를 바탕으로 혁신 자율성의 사다리(ladder of innovation autonomy)를 제안하고, 유용한 표현적 변화에 보상을 부여하는 목적 함수, 발명된 기본 요소를 위한 영구 메모리 아키텍처, 평가 대상 표현과 함께 진화할 수 있는 적응형 검증 메커니즘 등 개방형 AI를 발전시키기 위한 여러 방향을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.