PATH-Bench: 평생 학습 에이전트의 경로 의존적 평가
PATH-Bench: Path-Dependent Evaluation of Lifelong Agents
한국어 초록
평생 학습(lifelong) 대규모 언어 모델(LLM) 에이전트는 과거의 상호작용을 검색 가능한 메모리나 재사용 가능한 스킬로 저장하는 외부 학습 상태를 통해 점차 적응해 나가고 있으나, 기존 벤치마크는 축적된 경험의 경로가 에이전트의 전이(transfer) 및 유지(retention) 능력에 어떻게 영향을 미치는지를 거의 고려하지 않습니다. 본 연구에서는 평생 학습 에이전트의 경로 의존적(path-dependent) 평가를 위한 벤치마크인 PATH-Bench를 구축합니다. PATH-Bench는 다중 모델 문맥 내 학습(ICL)을 통해 방향성 있는 과업 간 관계를 추정하고, 유용한 이력과 간섭하는 이력이 통제된 프로브(probe) 중심 시퀀스를 구성하며, 프로브 과업을 반복 평가하여 평균 성능, 순방향 전이(forward transfer), 역방향 전이(backward transfer), 그리고 망각(forgetting)을 측정합니다. 본 연구는 긍정적 이력 및 부정적 이력이 지배적인 조건하에서 단일 턴 코드 생성 및 멀티 턴 도구 사용 과업을 대상으로 8개의 대표적인 에이전트를 평가합니다. 벤치마크 결과는 경험의 유용성이 경험의 표현 방식과 과업의 상호작용 구조 모두에 의존하며, 강력한 전이가 유지 능력을 보장하지 않고, 학습 경로 후반의 경험이 앞서 얻은 이득을 재형성할 수 있음을 보여줍니다. 이러한 발견을 바탕으로, 경로에 따라 축적된 경험이 각 신규 과업에 미치는 영향을 조절하여 유용한 항목은 수용하고 잠재적 간섭은 걸러내는 에이전트 하네스인 SEU(Selective Experience Use)를 제안합니다. SEU는 대다수 설정에서 순방향 전이를 향상시키는 동시에 망각을 일관되게 줄입니다. PATH-Bench는 통제된 평가 프레임워크와 함께 보다 선택적이고 견고한 평생 학습 에이전트 설계를 위한 실질적인 지침을 제공합니다.
원문 초록
Lifelong LLM agents increasingly adapt through external learning states that store past interactions as retrievable memories or reusable skills, yet existing benchmarks rarely account for how the path of accumulated experience shapes what agents transfer and retain. In this work, we establish PATH-Bench, a benchmark for path-dependent evaluation of lifelong agents. PATH-Bench estimates directed task relationships via multi-model in-context learning, constructs probe-centered sequences with controlled helpful and interfering histories, and repeatedly evaluates probe tasks to measure average performance, forward transfer, backward transfer, and forgetting. We evaluate eight representative agents on single-turn code generation and multi-turn tool-use tasks under positive- and negative-dominant histories. Benchmark results show that experience utility depends jointly on how experience is represented and on the task's interaction structure, that strong transfer does not ensure retention, and that later experience can reshape gains acquired earlier in the learning path. Based on these findings, we propose Selective Experience Use (SEU), an agent harness that regulates how path-accumulated experience influences each new task, admitting helpful items while filtering out potential interference. SEU consistently reduces forgetting while improving forward transfer in the majority of settings. The PATH-Bench provides both a controlled evaluation framework and actionable guidance for designing more selective and robust lifelong agents.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01149v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.