PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18829v1cs.LG

GateMem: 다중 주체 공유 메모리 에이전트에서의 메모리 거버넌스 벤치마킹

GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents

LLM(대규모 언어 모델) 에이전트를 위한 메모리 벤치마크는 대부분 단일 사용자 설정을 가정하므로, 병원, 직장, 캠퍼스 및 가정을 위한 공유 어시스턴트에 대한 연구는 부족합니다. 이러한 배포 환경에서는 여러 주체가 공통 메모리 풀에 기록하고 서로 다른 역할, 범위 및 관계에 따라 쿼리하므로, 메모리 품질에는 재현율(recall)뿐만 아니라 거버넌스도 필요합니다. 우리는 다중 주체 공유 메모리 에이전트를 위한 벤치마크인 GateMem을 소개합니다. GateMem은 상태 업데이트가 포함된 합법적인 장기(long-horizon) 요청에 대한 유용성, 문맥적 인증 경계를 넘나드는 접근 제어, 그리고 명시적인 삭제 요청 후 에이전트 대상 능동적 망각을 종합적으로 평가합니다. 이 벤치마크는 의료, 사무실, 교육 및 가정 도메인을 아우르며, 장문의 다자 에피소드, 점진적 메모리 주입, 숨겨진 체크포인트, 구조화된 판정, 누출 대상 주석을 포함합니다. 다양한 기준선(baseline)과 백본(backbone) 모델에 걸친 실험 결과, 어떤 방법도 강력한 유용성, 견고한 접근 제어, 신뢰할 수 있는 망각을 동시에 달성하지 못했습니다. 롱컨텍스트 프롬프팅(long-context prompting)은 높은 토큰 비용을 들여 종종 최고의 거버넌스 점수를 얻지만, 검색 기반 및 외부 메모리 방법은 비용을 줄이면서도 여전히 승인되지 않거나 삭제된 정보를 누출합니다. 이러한 결과는 현재 메모리 에이전트가 신뢰할 수 있는 공유 기관 배포 수준에는 여전히 미치지 못함을 보여줍니다.