PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17328v1cs.AI

MemTrace: 장기 기억에서 최종 정확도가 놓치는 것 탐색

MemTrace: Probing What Final Accuracy Misses in Long-Term Memory

대규모 언어 모델(LLM) 에이전트는 점차 세션 간에 걸쳐 사용자에 대한 사실을 장기 기억으로 유지하고 있습니다. 그러나 이러한 기억은 보통 질문 행이나 에피소드에 대한 정확도를 집계하여 평가됩니다. 이 접근 방식은 질문 행을 독립적으로 채점하기 때문에, 여러 질문이 동일한 사실을 조사하는 경우에도 조건이 변할 때 해당 사실이 어떻게 반응하는지 보여줄 수 없습니다. 우리는 측정 단위가 지식 포인트(knowledge point)인 MemTrace라는 벤치마크를 소개합니다. 이는 개별 질문이 아닌 사용자에 대한 단일 유형의 사실을 의미합니다. MemTrace는 세 가지 통제된 차원을 따라 각 사실을 조사합니다: 기억 수명(memory age, 사실이 히스토리에 나타난 지 몇 세션 전인지로 정의됨), 질문 유형(question type, 현재 상태, 이전 상태, 변화 궤적 포함), 그리고 증거 조건(evidence condition, 존재, 누락, 거짓 전제에 의해 모순되는 설정 포함). 4가지 패러다임에 걸쳐 13가지 메모리 시스템 구성을 평가한 결과, 유사한 집계 정확도가 서로 다른 실패를 숨기고 있음을 발견했습니다. 사실의 현재 및 이전 상태를 복구하는 것이 그것이 어떻게 변했는지 추적하는 것을 의미하지 않으며, 안전한 회피가 거짓 전제를 수정하는 것을 의미하지 않습니다. 주요 병목 현상은 검색(retrieval)이 아닌 증거 활용입니다. 시스템이 실패할 때, 증거는 누락된 경우보다 10배 더 자주 검색 가능한 상태였습니다. 이러한 결과는 장기 기억을 개선하려면 단순히 더 많은 저장 공간이나 검색 능력이 아니라 도달 가능한 증거를 더 잘 활용해야 함을 시사합니다.