PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28003v1cs.LG

실패로부터의 학습: 소형 언어 모델 도구 사용 에이전트를 위한 이종 그래프 메모리

Learning from Failures: Heterogeneous Graph Memory for Small Language Model Tool-Using Agents

중소형 언어 모델(language model)은 도구 사용 에이전트(agent)를 위한 비용 효율적인 실행자 역할을 하여 로컬 및 대규모 배포에 매력적인 선택지입니다. 그러나 장기적(long-horizon)이고 상태를 유지하는(stateful) 환경에서 이러한 모델(model)들은 필수적인 관측 누락, 조기 쓰기 수행, 실패한 호출 반복, 행동 전제 조건 위반과 같은 구조적 오류를 자주 범합니다. 이러한 오류는 잘못된 상태 업데이트, 정책 위반, 그리고 많은 비용이 들거나 되돌릴 수 없는 결과로 이어질 수 있어, 신뢰할 수 있는 도구 실행이 핵심적인 배포 과제가 됩니다. 기존의 미세조정(fine-tuning) 접근 방식은 상당한 양의 데이터와 연산을 필요로 하며, 평면적 메모리(flat memory)는 인과적 맥락이나 안전성(safety) 조건을 보존하지 못한 채 실패한 행동을 검색할 수 있습니다. 본 논문에서는 과거의 성공과 실패를 도구 사용 에이전트를 위한 구조화된 외부 경험으로 변환하는, 경험 구조화 이종 그래프 기반 실패 인지 검색 프레임워크인 FRESH(Failure-aware Retrieval framework over Experience-Structured Heterogeneous graphs)를 제안합니다. FRESH는 태스크, 행동, 오류, 복구, 실행 조건 간의 의존성을 명시적으로 모델링함으로써, 동결된(frozen) 언어 모델이 신뢰할 수 있는 전략을 재사용하고, 반복되는 실패를 방지하며, 상태 기반 도구 상호작용에서 더 안전한 결정을 내릴 수 있도록 돕습니다. 여러 오픈소스 모델을 사용해 $\tau$-Bench 및 AppWorld에서 수행한 실험에 따르면, FRESH는 메모리가 없는 에이전트 및 대표적인 메모리 기반 베이스라인 대비 태스크 성공률과 도구 사용 신뢰성을 일관되게 향상시킵니다.

arXiv:2606.17642v1cs.AI

FinAcumen: 자기 진화형 경험 메모리 활용을 통한 금융 멀티모달 추론

FinAcumen: Financial Multimodal Reasoning via Self-Evolving Experience Memory Harness

금융 멀티모달 추론은 에이전트(agent)가 이질적인 증거 소스 전반에 걸쳐 수치 계산, 검색(retrieval), 시각적 해석, 시간적 그라운딩(grounding)을 조율할 것을 요구합니다. 기존 도구 증강 에이전트(tool-augmented agents)는 실행 충실도를 개선하지만, 에피소드 간에 대부분 상태가 없는(stateless) 상태를 유지하여 추론 전략과 실패 패턴을 반복적으로 재발견합니다. 고위험 금융 환경에서 이는 신뢰할 수 없는 도구 라우팅(tool routing), 노이즈가 많은 검색(retrieval), 그리고 환각(hallucination)에 취약한 추론으로 이어집니다. 본 논문에서는 도구 증강 멀티모달 추론을 위해 선택적 경험 메모리를 중심으로 하는 금융 추론 에이전트(agent) 프레임워크인 FinAcumen을 제시합니다. FinAcumen은 이전 궤적(trajectories)에서 금융적으로 그라운딩된(grounded) 추론 경험을 축적하여, 성공적인 전략과 실패에서 유도된 주의 규칙을 지속적인 메모리 뱅크(memory bank)로 증류(distillation)합니다. 추론(inference) 과정에서 검색된 경험은 의미적 관련성이 보정된 임계값(threshold)을 초과할 때만 추론을 조건화하며, 관련 없는 메모리는 폴백 메커니즘(fallback mechanism)을 통해 명시적으로 억제됩니다. 결정론적 금융 도구 환경(environment)은 수치 계산, 검색(retrieval), 시각적 디코딩, 답변 검증을 추가로 그라운딩(grounding)합니다. 4개의 금융 멀티모달 추론 벤치마크(benchmarks)에서 FinAcumen은 고정된(frozen) 8B 비전-언어 모델(vision-language model)이 금융 전문 모델보다 일관되게 우수한 성능을 발휘하도록 하며, 선도적인 상용 범용 모델에 근접하는 성능을 보입니다. 추가 분석 결과, 선택적 경험 활성화는 검색(retrieval) 불확실성 하에서 추론 신뢰성을 향상시키는 것으로 나타났습니다. 본 연구의 코드는 https://anonymous.4open.science/r/FinAcumen 에서 익명으로 공개됩니다.