무엇을 기억할지 학습하기: 에이전트 기억을 위한 인지 심리학 기반 다중 요소 가치 모델
Learning What to Remember: A Cognitively Grounded Multi-Factor Value Model for Agentic Memory
한국어 초록
장기 실행 LLM 에이전트는 어떤 컨텍스트 윈도우(context window)보다 훨씬 큰 상호작용 기록을 축적하게 되며, 이는 고정된 기억 예산(memory budget) 하에서 무엇을 깊이 인코딩할지, 무엇을 잊을지, 무엇을 검색할지에 대한 지속적인 결정을 강제한다. 프로덕션 시스템은 의미적 유사도(semantic similarity)나 최신성(recency)으로 이를 답하는데, 둘 다 미래 질의(query)가 알려지기 전 기억 통합(consolidation) 시점에 이루어지는 망각(forgetting) 결정에는 잘못 명시된(mis-specified) 방식이다. 우리는 인지 심리학(cognitive psychology)에서 도출한 7가지 해석 가능한 요소(감정적 강도, 목표 관련성, 가치 정렬, 자기/사용자 관련성, 태스크 유틸리티, 신뢰성, 사용 이력)에 대한 다중 요소 기억 가치 함수 V(m)=\sum_i w_i f_i(m)를 제안한다. 가중치는 gradient-free optimiser로 하류(downstream) 목적 함수로부터 학습되며, 단일 스칼라 값이 인코딩 깊이, 망각 위험, 검색 순위를 균일하게 제어한다. 우리는 방법론적 주장을 제기한다: LongMemEval에서 보류된 평가 질문에 대해 목표 관련성을 점수화하면 gold-evidence retention이 약 0.98에서 포화한다 — 이는 망각이 아니라 검색(retrieval)을 측정하는 것이다. 현실적인 blind regime에서, 학습된 다중 요소 가치는 479개의 사용 가능한 사례에서 gold evidence의 0.770 ± 0.011을 보존하는 반면, 균일 가중치는 0.657, 최고 단일 요소는 0.518, 최신성은 0.368이다. 모든 쌍별 격차의 95% bootstrap CI는 0보다 크며, 동일한 요소에 대한 신경망(neural network)은 선형 모델과 동등하다. 학습된 가중치는 해석 가능하다 — 신뢰성, 감정적 강도, 자기/사용자 관련성이 지배적이며, 질의 시점의 목표 유사도(goal similarity)는 망각 결정에 대해 올바르게 낮은 가중치를 받는다. 심어 둔 교란 변수(planted confounds)를 갖는 통제된 합성 태스크는 학습기가 균일 가중치가 실패하는(0.62) 곳에서 분리 가중치(separating weighting)(1.00 retention)를 복원함을 확인한다. 기반(substrate)은 오픈소스이며, 모든 실험은 API 호출 없이 단일 CPU에서 실행된다.
원문 초록
Long-running LLM agents accumulate interaction histories far larger than any context window, forcing a standing decision: what to encode deeply, what to forget, and what to retrieve under a fixed memory budget. Production systems answer with semantic similarity or recency -- both mis-specified for the forgetting decision, which is made at consolidation time before the future query is known. We propose a multi-factor memory value function V(m)=\sum_i w_i f_i(m) over seven interpretable factors (emotional intensity, goal relevance, value alignment, self/user relevance, task utility, reliability, and usage history) drawn from cognitive psychology, whose weights are learned from a downstream objective by a gradient-free optimiser, and whose single scalar uniformly controls encoding depth, forget risk, and retrieval rank. We make a methodological point: on LongMemEval, scoring goal relevance against the held-out evaluation question saturates gold-evidence retention at \approx 0.98 -- this measures retrieval, not forgetting. In the realistic blind regime, a learned multi-factor value retains 0.770 \pm 0.011 of gold evidence across 479 usable cases, versus 0.657 for uniform weights, 0.518 for the best single factor, and 0.368 for recency; every paired gap's 95% bootstrap CI is above zero, and a neural network over the same factors ties the linear model. The learned weights are interpretable -- reliability, emotional intensity, and self/user relevance dominate, while query-time goal similarity is correctly down-weighted for the forgetting decision. A controlled synthetic task with planted confounds confirms the learner recovers a separating weighting (1.00 retention) where uniform weighting fails (0.62). The substrate is open-source; all experiments run on a single CPU with no API calls.
요약
LLM 에이전트의 장기 기억 관리 문제를 해결하기 위해 인지 심리학 기반의 7가지 요소를 결합한 다중 요소 가치 함수를 통해 무엇을 인코딩하고 잊을지 결정합니다. LongMemEval 벤치마크에서 제안된 방법은 균일 가중치나 최신성 기반 방법보다 유의미하게 높은 골드 증거 보존율을 달성했습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12945v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연습이 안전을 위협할 때: 자기 개선 LLM 에이전트의 기술 오진화
Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents
대규모 언어 모델(LLM) 에이전트는 기술 진화(skill evolution)를 통해 과거 작업의 경험을 재사용 가능한 기술로 저장하는 경우가 점점 많아지고 있습니다. 에이전트가 안전하지 않은 작업을 완료할 때, 기술 진화는 다른 면에서는 유용한 기술 내부에 안전하지 않은 절차를 보존할 수 있으며, 이후의 무해한 작업에서는 안전하지 않은 지시가 사라진 후에도 해당 위해가 반복될 수 있습니다. 본 연구에서는 이러한 실패 현상을 기술 오진화(skill misevolution)라고 정의합니다. 이 현상은 에이전트가 안전하지 않은 절차를 기술로 작성하고, 이후의 작업에서 해당 기술을 검색하여 따르는 과정을 필요로 합니다. 본 연구에서는 각 작업 세션을 초기화하되 기술 라이브러리는 유지하여 이러한 각 단계를 독립적으로 검증할 수 있는 SkillMisevo-Gym을 소개합니다. 또한 25개 에피소드에 걸쳐 525개 작업으로 구성된 SkillMisevo-Bench를 구축하였으며, 각 에피소드는 새로운 세션에서 세 가지 무해한 작업을 수행하기 전에 악의적인 작업과 관련된 무해한 작업을 번갈아 수행하도록 설계되었습니다. 에이전트와 진화 방법의 21가지 조합 전반에 걸쳐 모든 조합이 안전하지 않은 기술을 작성했으며, 그중 15개 조합은 새로운 세션으로 위해를 전파하여 이러한 위험이 기술 진화 자체에서 비롯됨을 보여주었습니다. 기술 진화는 15개 조합에서 무해한 작업의 효용성을 높였지만 17개 조합에서 악의적 작업의 위해성 또한 증가시켰으므로, 효용성만으로 방법을 평가하는 것은 이러한 위험을 은폐할 수 있습니다. 이에 본 연구는 기술이 작성될 때와 이후 작업에서 기술이 검색될 때 각각 검증을 수행하는 SafeEvolve를 제안합니다. 이 방법은 학습 중 무해한 작업의 효용성을 0.4점 이내로 유지하면서, 새로운 세션에서의 안전하지 않은 검색 비율을 35.3%에서 8.7%로, 위해 발생 비율을 21.3%에서 4.0%로 줄입니다. SafeEvolveUp은 완화 기법이 없는 기술 진화 대비 효용성을 1.3점 이내로 유지하면서 새로운 세션의 위해를 16.0점 감소시킵니다. 에이전트가 자체 경험을 통해 학습함에 따라, 과거의 행동을 미래 작업으로 전달하는 기술 또한 안전성(safety)의 대상에 포함되어야 합니다. 코드는 https://github.com/henrymao2004/misevolve 에서 확인할 수 있습니다.
SIREN: 경험 기반 LLM 에이전트를 활용한 end-to-end 극한 기상 조기 경보
SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents
극한 기상 조기 경보는 위험 기상 사건이 초래하는 사회적, 경제적, 환경적 위험을 완화하는 데 필수적이다. 그러나 전문가 중심의 경보 워크플로는 비용이 많이 들고 노동 집약적이며, 경보에서 대응까지의 과정 전반에 걸쳐 확장하기 어렵다. 대규모 언어 모델(LLM) 에이전트의 최근 발전으로 기상 관련 작업의 자동화가 가능해졌지만, 기존 연구는 여전히 개별적인 과학적 작업에 집중되어 있으며 운영상 극한 기상 조기 경보에 필요한 상호 의존적 프로세스의 연쇄를 간과한다. 이러한 격차를 메우기 위해 본 연구는 LLM 에이전트를 통한 자동화된 end-to-end 극한 기상 조기 경보를 탐구한다. 먼저 19개 작업에 걸쳐 600개의 질문-답변 인스턴스로 구성되고, 4개의 개별 경보 절차와 end-to-end 경보 연쇄를 포괄하는 포괄적 벤치마크인 SIREN-Bench를 개발한다. SIREN-Bench에 대한 평가는 기존 기상 에이전트 프레임워크의 상당한 역량 격차를 드러낸다. 이는 전문가들의 역사적 사례 활용에서 영감을 받은 경험 기반 에이전트 프레임워크인 SIREN의 개발을 촉진한다. SIREN은 이질적인 기상 증거와 도구를 통합하는 에이전틱 실행 환경과, 검색(retrieval), 스킬 증류(skill distillation), 예측 모델링(predictive modeling)을 통해 역사적 사례를 활용하는 일련의 에이전트 하네스(agent harness)를 결합한다. 광범위한 실험은 SIREN이 개별 경보 절차와 end-to-end 경보 연쇄 모두에서 기상 에이전트 베이스라인을 능가함을 보여준다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
세계는 롤백하고, 반성은 유지하라: 장기 지평 LLM 에이전트를 위한 롤백 유도 반성(Rollback-Induced Reflection)
Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents
대규모 언어 모델(LLM) 에이전트는 다단계 환경 상호작용을 통해 장기 지평 과제를 점점 더 많이 수행하지만, 단 한 번의 잘못된 행동만으로도 이후 상태와 관측이 바뀌어 오류가 시간에 따라 누적될 수 있다. 기존 방법은 변경된 환경 상태를 복구하지 않은 채 문맥만 고치거나, 이전 상태로 되돌리면서 유용한 경험을 버려, 실패 조건을 제거하는 것과 과거 실수를 반복하지 않는 것을 동시에 달성하기 어렵다. 우리는 신뢰할 수 있는 복구를 대신 롤백 경계 제어 문제로 보아, 언제 개입할지, 어디서 재개할지, 복구 후 어떤 정보가 남아야 하는지를 함께 결정해야 한다고 주장한다. 이 관점에 기반해, 선택한 이전 상태로 실행을 복원하면서 포기한 궤적에서 정제한 재사용 가능한 지식을 이어가 후속 결정을 이끄는 통합 복구 프레임워크인 Rollback-Induced Reflection(RIR)을 제안한다. 또한 롤백 깊이와 보존 기억에 대한 통합 연산자로 복구를 특성화하여, 상태 복원과 지식 보존에 대한 일반적 관점을 제공한다. 세 가지 장기 지평 벤치마크 실험에서 RIR은 여러 LLM 백본에서 평균 과제 성능을 일관되게 향상시키며, 구조화된 반성 기억이 유용한 경험을 보존하고 선택적 롤백이 효율적인 복구를 가능하게 함을 보여준다.
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.