arXiv:2606.19172v1 cs.AI

User as Engram: 사용자별 메모리를 지역 파라미터 편집으로 내재화

User as Engram: Internalizing Per-User Memory as Local Parametric Edits

Bojie Li

제출 2026-06-17

한국어 초록

언어 모델에서 개인 메모리는 내용과 추론 능력이라는 두 가지 문제입니다. 뇌는 이 둘을 분리해 유지합니다(각 에피소드마다 해마의 희소하고 지역적인 engram, 이를 해석하는 공유 기술을 담는 느린 신피질). 따라서 새로운 사실이 다른 모든 것을 덮어쓸 필요가 없습니다. 오늘날 대부분의 개인화는 사용자의 사실을 가중치 외부—자연어 메모리 파일이나 검색 인덱스—에 둡니다. 대신 사실을 모델에 기록할 때 표준 방법은 사용자별 LoRA 어댑터인데, 이는 뇌와 정반대로 내용과 기술을 하나의 전역 가중치 델타로 접어 넣습니다. 사용자의 사실을 LoRA로 기록하면 관련 없는 텍스트까지 오염시키지만, 동일한 사실을 지역 Engram 행으로 기록하면 수학적으로는 그대로 두어 메모리 사용량이 대략 33,000배 더 작아집니다. 따라서 User as Engram을 제안합니다: 사용자의 내용을 Engram 모델의 해시 키 메모리 테이블에 대한 정밀 편집으로 저장하고, 추론 능력은 하나의 공유 어댑터에 담습니다. 이 계층적 설계는 사용자별 LoRA의 직접 회상 성능을 맞추면서 평균적으로 간접 추론 정확도를 5.6배 높이고, 어떤 사용자도 편집되지 않은 베이스 모델보다 추론이 나빠지지 않습니다. 편집은 글래스 박스입니다: 사실을 기록하면 정확히 해당 트리거에서 조회가 켜지고, 답에 필요한 값을 더하며, 다른 모든 위치는 비트 하나까지 변경하지 않으며, 잘못된 층에 기록하면 실패합니다. 서로 다른 사용자의 사실이 서로 겹치지 않는 해시 슬롯에 놓이므로 편집이 합성됩니다: 많은 사용자가 하나의 공유 테이블에 동시에 존재하며 가산적으로 손실 없이 쌓이는 반면, 사용자별 LoRA인 단일 전역 가중치 델타는 하나만 허용합니다. 검색 시 사용자별 Engram 테이블은 검색기가 탐색해야 하는 사용자 수에 따라 커지지 않으므로, 약 100개의 사실을 넘기면 2.5배 더 큰 모델을 쓰는 검색 파이프라인을 능가합니다.

원문 초록

Personal memory in a language model is two problems: content and reasoning skill. The brain keeps the two apart (a sparse, local engram in the hippocampus for each episode, a slow neocortex for the shared skills that interpret it), so a new fact need not overwrite everything else. Most personalization today keeps a user's facts outside the weights, in a natural-language memory file or a retrieval index. When facts are written into the model instead, the standard recipe is the per-user LoRA adapter, which does the opposite of the brain, folding content and skill into one global weight delta. Writing a user's facts as a LoRA contaminates text unrelated to them; writing the same facts as local Engram rows leaves it mathematically untouched, resulting in a roughly 33,000x smaller memory footprint. We therefore propose User as Engram: store a user's content as surgical edits to the hash-keyed memory table of an Engram model, and carry the reasoning skill in one shared adapter. This layered design matches per-user LoRA's direct recall while delivering 5.6x higher indirect-reasoning accuracy on average, and never makes a single user worse at reasoning than the untouched base. The edit is a glass box: writing a fact switches on its lookup at exactly the trigger, adds the value the answer needs, leaves every other position unchanged to the last bit, and fails if written into the wrong layer. Because different users' facts land in disjoint hash slots, their edits compose: many users live in one shared table at once, stacking additively and losslessly, where a per-user LoRA, a single global weight delta, admits only one. Upon retrieval, a per-user Engram table does not grow with the population the retriever must search, so past ~100 facts it overtakes a retrieval pipeline on a 2.5x larger model.

요약

User as Engram은 개인 메모리를 사용자별 사실(내용)과 공유 추론 능력으로 나누어, 사실은 Engram 모델의 해시 키 메모리 테이블에 국소 편집으로 저장하고 추론은 공유 LoRA 어댑터에 담는 계층적 설계를 제안한다. 사용자별 LoRA와 직접 회상 성능은 맞추면서 간접 추론 정확도는 평균 5.6배 높이고 메모리 사용량은 약 33,000배 작으며, 서로 다른 사용자의 편집이 겹치지 않는 해시 슬롯에 쌓여 하나의 공유 테이블에서 다중 사용자를 손실 없이 지원한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19172v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02181v3cs.CV공통 태그 Retrieval, Large Language Model

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.15715v1cs.AI공통 태그 Retrieval, Large Language Model

역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기

History Replays Itself: Unleashing Long-Context Capability in Linear Attention

선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.

arXiv:2610.13370v1cs.CL공통 태그 Language Modeling, Large Language Model

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2610.13605v1cs.CL공통 태그 Language Modeling, Large Language Model

zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.

arXiv:2610.13835v1cs.LG공통 태그 Language Modeling, Large Language Model

전문가가 더 빠르게 학습한다: 사전학습에서의 지식 구조화가 지식 업데이트 효율성을 결정한다

Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency

이상적인 (언어) 모델은 지식을 지속적으로 업데이트해야 한다. 기존 연구는 주로 학습 이후에 이러한 업데이트를 효율적으로 만드는 데 초점을 맞춰왔다. 본 연구에서는 사전학습 동안 시간에 따라 변화하는 지식의 구조화(organization)가 이후 업데이트의 효율성에 어떤 영향을 미치는지 조사한다. 시간순으로 정렬된 지식으로 학습된 모델은 가장 최근에 접한 지식에 특화되는데, 이러한 모델을 전문가(specialist) 모델이라 부른다. 반면, 동일한 지식을 무작위로 섞은 순서로 학습한 모델은 포함된 모든 시간대에 걸쳐 고르게 우수한 성능을 보이는데, 이러한 모델을 범용(generalist) 모델이라 부른다. 놀랍게도, 전문가 모델은 새로운 지식을 획득하는 데 범용 모델보다 훨씬 적은 업데이트 스텝을 필요로 한다. 이러한 이점을 설명하기 위해, 우리는 업데이트 비용을 모델의 최적화 동역학(optimization dynamics)과 연관시키는 법칙을 제1원리로부터 유도하였으며, 이는 실험 결과를 정확하게 예측한다. 이러한 발견을 바탕으로, 안정적인 과거 지식을 보존하면서도 현재 지식에 대한 효율적인 업데이트를 가능하게 하는 사전학습 데이터 구조화 전략을 설계한다. 또한 시간적 지식 구조화의 이점이 실제 사전학습된 모델과 기존의 지식 업데이트 도구에도 확장되며, 다른 지식 순서화 방식에도 일반화됨을 보인다. 프로젝트 페이지: https://horizon-lab.org/specialist/

arXiv:2610.13895v1cs.CL공통 태그 Language Modeling, Large Language Model

작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식

Task Context Shapes Component Roles in Language Models

대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.