PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28003v1cs.LG

실패로부터의 학습: 소형 언어 모델 도구 사용 에이전트를 위한 이종 그래프 메모리

Learning from Failures: Heterogeneous Graph Memory for Small Language Model Tool-Using Agents

중소형 언어 모델(language model)은 도구 사용 에이전트(agent)를 위한 비용 효율적인 실행자 역할을 하여 로컬 및 대규모 배포에 매력적인 선택지입니다. 그러나 장기적(long-horizon)이고 상태를 유지하는(stateful) 환경에서 이러한 모델(model)들은 필수적인 관측 누락, 조기 쓰기 수행, 실패한 호출 반복, 행동 전제 조건 위반과 같은 구조적 오류를 자주 범합니다. 이러한 오류는 잘못된 상태 업데이트, 정책 위반, 그리고 많은 비용이 들거나 되돌릴 수 없는 결과로 이어질 수 있어, 신뢰할 수 있는 도구 실행이 핵심적인 배포 과제가 됩니다. 기존의 미세조정(fine-tuning) 접근 방식은 상당한 양의 데이터와 연산을 필요로 하며, 평면적 메모리(flat memory)는 인과적 맥락이나 안전성(safety) 조건을 보존하지 못한 채 실패한 행동을 검색할 수 있습니다. 본 논문에서는 과거의 성공과 실패를 도구 사용 에이전트를 위한 구조화된 외부 경험으로 변환하는, 경험 구조화 이종 그래프 기반 실패 인지 검색 프레임워크인 FRESH(Failure-aware Retrieval framework over Experience-Structured Heterogeneous graphs)를 제안합니다. FRESH는 태스크, 행동, 오류, 복구, 실행 조건 간의 의존성을 명시적으로 모델링함으로써, 동결된(frozen) 언어 모델이 신뢰할 수 있는 전략을 재사용하고, 반복되는 실패를 방지하며, 상태 기반 도구 상호작용에서 더 안전한 결정을 내릴 수 있도록 돕습니다. 여러 오픈소스 모델을 사용해 $\tau$-Bench 및 AppWorld에서 수행한 실험에 따르면, FRESH는 메모리가 없는 에이전트 및 대표적인 메모리 기반 베이스라인 대비 태스크 성공률과 도구 사용 신뢰성을 일관되게 향상시킵니다.