AttriMem: 에이전트 메모리 학습을 위한 귀속 기반 프로세스 피드백
AttriMem: Attribution-Guided Process Feedback for Agent Memory Construction
효과적인 메모리는 LLM 에이전트에 필수적이지만, 이를 효과적으로 구축하는 것은 여전히 어려운 과제이다. 메모리 구축 정책은 상호작용이 누적됨에 따라 어떤 정보를 추출, 저장, 갱신, 압축 또는 폐기할지 결정한다. 휴리스틱 메모리 방법은 주관적이고 과제별 규칙에 의존하며, 이는 하류 목표와 불일치할 수 있고 과제 간 적응성을 제한한다. 반면 RL 기반 방법은 과제 피드백으로부터 학습하지만, 주로 결과 수준이나 모듈 수준의 보상을 사용한다. 이러한 거친 신호는 과제 성공 여부는 나타내지만 최종 답을 뒷받침하는 중간 메모리 내용이 무엇인지 식별할 수 없어, 세밀한 크레딧 할당(credit assignment) 병목을 만든다. 그러나 이러한 프로세스 피드백을 구축하는 것은 매우 어렵다. 중간 메모리 결정에는 고유한 정답(ground-truth) 목표가 없고, 적절한 크레딧은 에이전트의 불확실한 추론 궤적에 따라 달라지므로 사전에 지정할 수 없기 때문이다. 우리는 RL로 메모리 구축 정책을 학습하기 위한 귀속 기반 프로세스 피드백 프레임워크인 AttriMem을 제안한다. AttriMem은 최종 답에 대한 토큰 수준 기여도에서 도출된 국소 보상으로 전역 결과 보상을 보강한다. 장기 대화 질의응답 실험에서 AttriMem은 검색 기반, 휴리스틱, RL 기반 베이스라인을 능가하며, 벤치마크와 답변 모델에 걸쳐 일반화되고 RL 최적화를 안정화한다.