DSI++: Updating Transformer Memory with New Documents
원문 초록
Differentiable Search Indices (DSIs) encode a corpus of documents in model parameters and use the same model to answer user queries directly. Despite the strong performance of DSI models, deploying them in situations where the corpus changes over time is computationally expensive because reindexing the corpus requires re-training the model. In this work, we introduce DSI++, a continual learning challenge for DSI to incrementally index new documents while being able to answer queries related to both previously and newly indexed documents. Across different model scales and document identifier representations, we show that continual indexing of new documents leads to considerable forgetting of previously indexed documents. We also hypothesize and verify that the model experiences forgetting events during training, leading to unstable learning. To mitigate these issues, we investigate two approaches. The first focuses on modifying the training dynamics. Flatter minima implicitly alleviate forgetting, so we optimize for flatter loss basins and show that the model stably memorizes more documents ($+12\%$). Next, we introduce a generative memory to sample pseudo-queries for documents and supplement them during continual indexing to prevent forgetting for the retrieval task. Extensive experiments on novel continual indexing benchmarks based on Natural Questions (NQ) and MS MARCO demonstrate that our proposed solution mitigates forgetting significantly. Concretely, it improves the average Hits@10 by $+21.1\%$ over competitive baselines for NQ and requires $6$ times fewer model updates compared to re-training the DSI model for incrementally indexing five corpora in a sequence.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
컨텍스트와 메모리의 분리: 토큰 효율적인 테스트 시간 지속 학습을 위한 구조화된 메모리
Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning
대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.
스스로 정화되고 그래도 포착됨: 에이전트가 스스로 쓰는 저장소의 오류를 위한 단일 측정 원시량, 그리고 하락하는 점수가 실제로 측정하는 것
Self-Cleaning and Captured Anyway: One Measured Primitive for Error in a Store an Agent Writes to Itself, and What a Falling Score Actually Measures
결론을 스스로 기록해 두었다가 나중에 조회하는 저장소에 쓰는 에이전트는, 보통 일방적 오�(contamination)으로 보고되는 루프를 닫는다. append-only 저장소에 대해 무한 임기(infinite-tenure) 한계로 이 루프를 보면 그림이 달라진다. 기록은 절대 삭제되지 않으므로 도달 가능한 상태 공간에는 (n-1)/n에서의 단단한 상한이 있어, 결과는 감쇠가 아니라 두 가지 경계 사이의 선택이 된다. f_0 = 0.9에서 두 모드 사이 구간은 220회 실행 중 3.6%를 차지하는데, 균일 분포라면 20.6%가 될 것이며, 처음 15회에서는 엄밀히 비어 있다. pooled mean은 요약하는 실행의 8.2%를, 중앙값은 68.2%를 설명한다. 모델이 기여하는 모든 것은 적합 매개변수 없이 하나의 측정 원시량, 복사 함수 \gamma(\phi)가 담는다. Wikidata 사실 36개에서 sign(\hat{\gamma} - \gamma_{crit})(\gamma_{crit} = 1/k, r = 0, w = 1)는 실제 사실 실행 360개 중 353개(동일 배치의 합성 40개 중 39개)에서 drift 방향을 예측한다. 규모는 저장소를 구원하지 못한다. pooled frontier capture는 0.850이며, claude-sonnet-4.5는 등록된 예측 <0.5에 대해 20개 seed 중 20개에서 포착(captured)된다. 구간이 검증하는 것은 개수가 아니라 구별 가능성(distinguishability)이다. 실제 사실에서 다값(multi-valued) 실행은 나머지 대비 그 점유율이 6.4배이다. f_0 ∈ {0.1, 0.3, 0.5}에서도 유지되며, capture는 f_0 = 0.5에서 정점을 이루고, 기준을 먼저 고정한 네 가지 개입 가운데에서는 동일 예산에서 timing이 fraction을 지배하고 consistency gate는 모든 모델을 0.993으로 끌어올린다. 리샘플링 단위는 seed이며, pooled 수준에서 design effect는 3.75이다. 44-seed 대조에서 주장 4를 뒷받침하는 순서는 seed 3개일 때 Spearman +0.98에서 44개일 때 +0.31–0.80으로 붕괴하는 반면, 주장 2의 순서는 그곳에서 정확하다(+1.00, p = 0.017). 채점된 87개 행은 모두 부록 W에 있으며, 그중 37개는 withdrawn, failed, self-correcting, undecidable 또는 acknowledged limit로 채점되었고 50개는 그렇지 않다.
MoM: 메모리의 메모리
MoM: Memory of Memory
장기 과제를 수행하는 LLM 에이전트(agent)에게 메모리의 핵심 질문은 과거에 무엇이 기록되었는가가 아니라 \emph{현재 무엇이 유효한가}이다. 대부분의 설계는 이 질문에 간접적으로만 답한다. 모든 상호작용을 저장해 두고, 질의 시점에 기록을 검색하고 조정하여 현재 상태를 재구성하기 때문에, 오래된 값이 다시 유입되고 동일한 충돌이 반복해서 재논의된다. 쓰기 시점에 현재 값을 확정하면 이 문제를 피할 수 있지만, 기존의 쓰기 시점(CRUD) 메모리는 값을 덮어쓰기 때문에 잘못된 갱신을 되돌릴 수 없고 이전 상태도 사라진다. 우리는 이 빠져 있던 조합, 즉 \emph{도착 시점에 확정하되 밀려난 값은 보존한다}는 방식을 취하여 이를 \textsc{Memory of Memory}(MoM)로 형식화한다. MoM에서 메모리는 내용뿐 아니라 각 항목 자체의 출처(provenance), 상태, 이력까지 추적한다. 우리는 MoM을 \textsc{Provenant Memory}(P-Mem)로 구현하는데, 이는 타입이 지정된 출처 그래프(provenance graph)로서, \emph{활성 프런티어(active frontier)}가 해소된 각 키마다 하나의 현재 값을 제공하고 밀려난 값은 출처 정보로 보존한다. 타입이 지정된 연산은 새로운 관측이 기존 값을 지지(support), 대체(supersede), 이의 제기(contest), 기각(reject), 철회(revoke), 해소(resolve) 중 무엇에 해당하는지를 결정한다. P-Mem의 결정적인 이점은 정확도가 아니라 유효성(validity)이다. 턴 단위 읽기는 가장 강력한 검색 기반 메모리와 정확도가 동등하면서 읽기 토큰은 약 $\sim$4$\times$ 적으며, 이는 검색 단위(granularity) 효과이다. 또한 그래프 기반 턴 가지치기(pruning)는 지식 갱신에서 오래된 답변 비율을 낮춘다(19.4\%$\rightarrow$10.9\%). 수정 체인(revision chain)에서는 질의 시점 읽기 방식이 25\%로 무너지는 반면 P-Mem은 100\%를 유지하며, 밀려난 값을 덮어쓰지 않고 보존하기 때문에 CRUD 메모리가 복구하지 못하는 확정된 오류도 복구한다(100\% 대 0\%).
ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크
ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI
연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.
MIITA: 소형 언어 모델의 지속 학습을 위한 메모리 유도 추론 시점 적응
MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models
지속 학습(CL)은 자원이 제한된 배포 환경에서 진화하는 실세계 요구에 적응하기 위해 소형 언어 모델(SLM)에 필수적이다. 그러나 제한된 매개변수 공간을 직접 업데이트하면 치명적 망각(catastrophic forgetting)이 발생한다. 메모리 기반 방법은 지식 보존을 매개변수와 분리함으로써 이를 자연스럽게 해결하지만, 대규모 언어 모델(LLM)용으로 설계된 기존 접근법은 SLM이 갖추지 못한 풍부한 저장 공간과 강력한 문맥 내 추론에 의존한다. 이러한 과제를 해결하기 위해, 우리는 제한된 저장 공간 하에서의 지도 CL을 위한 메모리 유도 추론 시점 적응(Memory-Induced Inference-Time Adaptation) 프레임워크 MIITA를 제안한다. MIITA는 지도 경험을 의미적 앵커를 갖춘 압축된 교정 방향 프로토타입으로 저장하고, 의미적 및 불��실성 기반 단서를 사용하여 추론 시점에 이를 검색한다. 검색된 방향은 게이트된 임시 은닉 상태 적응을 통해 적용되며, 백본 업데이트, 프롬프트 확장, 또는 테스트 시점 역전파 없이 과거 지도 정보를 비파괴적으로 재사용할 수 있게 한다. 국소 이론 분석은 이 설계를 1차 손실 감소, 불확실성 안내 검색, 그리고 이전 단계 지식 보존을 위한 방향적 커버리지와 연결한다. 다양한 지도 CL 설정에 걸친 광범위한 실험은 MIITA가 고정된 메모리 예산 하에서 최종 성능을 지속적으로 향상시키고 망각을 완화함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.