대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.
현대 소프트웨어 시스템의 장애 진단은 운영 경험에 의해 안내되는 반복적인 증거 수집과 가설 추론을 필요로 한다. 기존의 대규모 언어 모델(LLM) 기반 방법들은 에이전트(agent) 추론 또는 지식 증강을 통해 진단 성능을 향상시키지만, 반복적인 진단 과정에서 진화하는 진단 상태와 운영 경험을 조율하는 메커니즘이 부족한 경우가 많다. 우리는 현재 진단 상태를 위한 단기 메모리와 재사용 가능한 운영 경험을 위한 장기 메모리를 유지하는 이중 메모리 프레임워크인 OpsMem을 제안한다. OpsMem은 교차 메모리 공명(cross-memory resonance)을 사용하여 상태와 관련된 장기 메모리를 활성화하고, 단기 메모리와 활성화된 장기 메모리를 기반으로 멀티 에이전트 진단을 수행하며, 해결된 인시던트로부터 재사용 가능한 경험을 장기 메모리로 통합한다. 실제 Huawei 마이크로서비스 장애 진단 데이터셋(dataset)에 대한 실험에서 OpsMem은 대표적인 에이전트 추론 및 지식 증강 기준선(baseline)들을 능가하며, 가장 강력한 기준선 대비 Match와 Relevant 지표를 각각 최대 46.88%, 18.39%까지 향상시켰다.
메모리는 장기 수행 AI 에이전트의 핵심 구성 요소로 자리잡고 있으며, 에이전트가 웹 브라우저, 소프트웨어 도구 및 기타 인터랙티브 환경을 운용할 때 과거 경험을 재사용할 수 있게 해준다. 기존 연구는 대부분 메모리를 공급 문제로 취급하여, 어떤 경험을 기록할지, 어떻게 저장할지, 다음 작업을 위해 어느 항목을 검색할지를 다루었다. 그러나 다단계 행동 궤적 전반에 걸쳐 모델이 검색된 메모리를 어떻게 소비하는지에 대한 명확한 설명은 아직 부족하다. 이 소비 과정은 어떤 메모리를 검색해야 하는지뿐만 아니라, 이를 안전하게 사용하기 위해 어떤 모델과 제어 정책이 필요한지를 결정하기 때문에 중요하다. 이 과정을 진단하기 위해, 우리는 메모리가 처음으로 행동을 변경하는 지점, 그 변경이 이후로 이어지는지 여부, 그리고 에이전트가 올바른 경로를 이탈한 후 회복할 수 있는지를 묻는 궤적 수준의 프레임워크인 Entry-Propagation-Recovery (E-P-R)를 제안한다. 우리는 WebArena와, 이러한 단계들을 분리하기 위해 직접 구축한 통제된 벤치마크인 MemTrapBench에 E-P-R을 적용한다. 주요 실패는 종종 진입(entry) 단계에서 시작됨을 발견하였다: 에이전트는 충돌하는 메모리가 작업에 부적합하더라도 첫 번째 노출 결정 지점에서 이를 채택한다. 반복적인 노출은 이 초기 오류를 증폭시키며, 이탈 이후의 회복은 미약하다. 이러한 효과들이 결합하여 순응 함정을 형성한다: 모델 전반에 걸쳐 충돌하는 메모리는 유사한 순응률을 유도하지만, 에이전트가 순응하게 되면 성공률은 낮은 수준으로 붕괴된다. 따라서 더 강력한 에이전트는 각 순응 이벤트가 더 많은 기준선 역량을 소거하기 때문에 절대적으로 더 큰 손해를 입는다. 이러한 결과는 메모리 증강 에이전트가 검색 품질이나 최종 성공률만으로 평가되어서는 안 되며, 궤적 전반에 걸쳐 메모리를 어떻게 소비하는지로도 평가되어야 함을 시사한다.
장기 행동 예측(long-horizon behavior prediction)은 긴 이력 시퀀스를 기반으로 사용자의 다음 행동을 추론하는 것을 목표로 하며, 인공지능 분야에서 중요한 역할을 담당한다. 대규모 언어 모델(LLM)의 부상은 순차적 행동 예측에 유망한 방향을 제시하지만, LLM은 장기 행동 예측에 있어 잠재적 행동 패턴 귀납 및 모델 내재적 인지 편향 문제를 겪는다. 기존의 메모리 관리 방법들은 이력 시퀀스의 부담을 완화하여 이 문제를 해결하려는 컨텍스트 압축 패러다임을 따르지만, 핵심 과제를 해결하지 못한다. 본 논문에서는 긴 이력 시퀀스를 부담이 아닌 활용 가능한 가치 있는 자원으로 재정의하는 패러다임 전환을 제안하며, 이에 따라 PraMem을 제안한다. PraMem은 긴 이력 시퀀스에 대해 사전 실전 훈련(practice)을 수행하여 경험적 메모리(experiential memory)를 구축하고, 이를 정확한 장기 행동 예측을 위한 보조 입력으로 활용한다. 다양한 태스크에 걸친 광범위한 실험을 통해 PraMem이 기존 방법보다 우월한 성능을 달성함을 입증하며, 심층 분석을 통해 경험적 메모리의 메커니즘과 발전 과정에 대한 유의미한 인사이트를 제공한다. 코드: https://github.com/icip-cas/PraMem.