한국어 초록
대규모 언어 모델(LLM)은 장기적인 어시스턴트와 에이전트 시스템에서 과거 정보를 축적하고 재사용해야 할 필요가 점점 더 커지고 있습니다. 컨텍스트 윈도우를 단순히 확장하는 것은 비용이 많이 들고, 효과적인 컨텍스트 활용을 보장하지 못하는 경우가 많습니다. 우리는 동결된 풀 어텐션 백본에 연상 기억의 간결한 온라인 상태를 추가하는 경량 메모리 메커니즘인 δ-mem을 제안합니다. δ-mem은 과거 정보를 델타 규칙 학습으로 갱신되는 고정 크기 상태 행렬로 압축하고, 그 리드아웃을 사용해 생성 과정에서 백본의 어텐션 계산에 저랭크 보정을 생성합니다. 8×8 온라인 메모리 상태만으로도 δ-mem은 평균 점수를 동결된 백본의 1.10배, 가장 강력한 비-δ-mem 메모리 베이스라인의 1.15배로 향상시킵니다. 메모리 집약적 벤치마크에서는 더 큰 향상을 보여 MemoryAgentBench에서 1.31배, LoCoMo에서 1.20배를 달성하는 한편, 일반적인 능력은 대체로 유지합니다. 이러한 결과는 전체 파인튜닝, 백본 교체, 또는 명시적인 컨텍스트 확장 없이도, 어텐션 계산과 직접 결합된 간결한 온라인 상태를 통해 효과적인 메모리를 구현할 수 있음을 보여줍니다.
요약
대규모 언어 모델(LLM)은 장기 도우미와 에이전트 시스템에서 과거 정보를 축적하고 재사용해야 하는 요구가 점점 커지고 있습니다. 단순히 컨텍스트 윈도우(context window)를 확장하는 방식은 비용이 크고, 실제로 컨텍스트를 효과적으로 활용하지 못하는 경우가 많습니다. 이를 위해 저자들은 고정된 전체 어텐션 백본(full-attention backbone)에 작은 온라인 연합 기억(associative memory) 상태를 덧붙이는 경량 메모리 메커니즘인 δ-mem을 제안합니다. δ-mem은 과거 정보를 고정 크기 상태 행렬에 압축해 저장하고, 델타 규칙 학습(delta-rule learning)으로 이를 갱신합니다. 또한 읽기(readout) 결과를 이용해 생성 단계에서 백본의 어텐션 계산에 저랭크 보정(low-rank correction)을 더하는 방식으로 동작합니다. 8×8 크기의 온라인 메모리 상태만으로도 평균 점수를 고정 백본 대비 1.10배, 가장 강한 비-δ-mem 메모리 기준선 대비 1.15배까지 끌어올렸습니다. 특히 메모리 의존도가 높은 벤치마크에서 더 큰 향상을 보여 MemoryAgentBench에서는 1.31배, LoCoMo에서는 1.20배를 기록했으며, 전반적인 일반 능력은 대부분 유지되었습니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.