DENSE: 자기 정제를 위해 에이전트 궤적을 근거 기반 지름길 트리로 증류하기
DENSE: Distilling Agent Trajectories into Evidence-Grounded Shortcut Trees for Self-Refinement
한국어 초록
온라인 에이전트(agent) 배포 환경에서는 대규모이자 행동적으로 다양한 실행 궤적(trajectory)이 축적되지만, 이에 대한 사전 정의된 주석 기준은 거의 존재하지 않습니다. 따라서 유용한 근거를 추출하려면 비용이 많이 드는 수동 주석이나 확장이 어려운 검증기(verifier) 신호가 필요하며, 이로 인해 귀중한 근거가 중복되거나 불완전하고 실패한 실행 속에 묻히게 됩니다. 이는 한 가지 질문을 제기합니다. 실행 후 보상이나 정답 레이블 없이, 궤적 자체에서 어떻게 재사용 가능한 경험을 증류(distillation)할 수 있을까요? 이러한 과제를 해결하기 위해, 저희는 궤적에서 파생된 근거를 중첩 지름길 트리(nested shortcut tree)로 구성하는 DENSE(Distilling Evidence from Nested Subtask Executions)를 소개합니다. DENSE는 중복된 시도를 통합하고, 해결된 하위 작업을 식별하며, 미해결된 요구사항과 함께 유용한 단계를 유지함으로써 노이즈가 많은 실행 흔적을 구조화되고 재사용 가능한 작업 해결 피드백으로 변환합니다. 이러한 피드백이 에이전트가 동일한 작업을 재시도하는 데 도움이 되는지 평가하기 위해, 초기 시도와 피드백 기반 재시도 간의 성공률 변화를 측정하는 REFIT을 설계했습니다. 외부 결과 감독이 없는 피드백 방법 중 DENSE는 Terminal-Bench 2.1에서 4개 에이전트 모델에 걸쳐 가장 높은 엄격 통과율(strict pass rate)을 달성했으며, 재시도 시 19.0-43.6% 더 적은 에이전트 토큰(token)을 사용하면서 초기 시도 대비 7.12-21.81%p 향상되었습니다. 또한 어려운 작업에서 DENSE는 4개 모델 모두에서 여러 차례의 피드백 반복에 걸쳐 누적 통과율 면에서 지속적으로 자기 반성(self-reflection)을 능가하여, 지속적인 에이전트 자기 개선에 대한 강력한 잠재력을 입증했습니다.
원문 초록
Online agent deployments accumulate execution trajectories at massive scale and behavioral diversity, for which predefined annotation criteria hardly exist. Extracting useful evidence therefore demands costly manual annotation or verifier signals that fail to scale, leaving valuable evidence buried among redundant, incomplete, and failed executions. This raises a question: without post-execution rewards or correctness labels, how can reusable experience be distilled from the trajectories themselves? To address this challenge, we introduce DENSE (Distilling Evidence from Nested Subtask Executions), which organizes trajectory-derived evidence into nested shortcut trees. By consolidating redundant attempts, identifying resolved subtasks, and retaining useful steps alongside outstanding requirements, DENSE transforms noisy execution traces into structured and reusable task-solving feedback. To evaluate whether such feedback helps agents retry the same task, we design REFIT, which measures success-rate changes between the initial attempt and feedback-guided retries. Among feedback methods without external outcome supervision, DENSE achieves the highest strict pass rate across four agent models on Terminal-Bench 2.1, improving over initial attempts by 7.12-21.81 percentage points with 19.0-43.6% fewer agent tokens on retries. In addition, on hard tasks DENSE consistently outperforms self-reflection in cumulative pass rate across multiple feedback iterations on all four models, demonstrating its strong potential for continual agent self-improvement.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.21423v5
- arXiv:2609.21423v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SafeCoEvo: 테스트 시점에서 LLM 에이전트를 위한 안전 하네스 및 가드의 공진화
SafeCoEvo: Co-Evolving Safety Harnesses and Guards for LLM Agents at Test-Time
실제 환경에 배포된 대규모 언어 모델(LLM) 에이전트(agent)는 새로운 태스크와 안전성(safety) 위험에 지속적으로 직면하지만, 실행 피드백은 대개 각 태스크가 완료된 후에야 얻을 수 있습니다. 그러나 기존의 자기 진화(self-evolving) 접근 방식은 고정되어 반복적으로 접근 가능한 태스크 분포에 대한 여러 차례의 최적화(optimization)에 주로 의존하므로, 과거 태스크에서 축적된 경험만을 활용해 미래의 미확인 태스크에 대한 안전 결정을 개선해야 하는 실제 배포 환경에서의 테스트 시점 적응(test-time adaptation)과는 근본적으로 다릅니다. 이러한 한계를 해결하기 위해, 우리는 런타임에 축적된 경험으로부터 외부 안전 시스템이 지속적으로 적응할 수 있도록 지원하는 LLM 에이전트 안전을 위한 테스트 시점 하네스-가드(Harness-Guard) 공진화 프레임워크인 SafeCoEvo를 제안합니다. SafeCoEvo는 서로 다른 시간 척도에서 두 가지 상호 보완적인 안전 역량을 공동으로 향상합니다. S-Harness는 최근의 런타임 경험을 후속 태스크에 신속하게 영향을 미칠 수 있는 갱신 가능한 명시적 안전 지식으로 빠르게 외재화하는 반면, GuardVPO는 더 긴 시간 척도에 걸쳐 축적된 런타임 안전 경험을 매개변수 기반 위험 판단 역량으로 내재화합니다. 단기적인 빠른 적응과 장기적인 역량 강화를 결합함으로써 SafeCoEvo는 에이전트의 안전 역량을 지속적으로 개선하여, 가장 강력한 기준선(baseline) 대비 안전하지 않은 결과 발생률을 10.05% 줄이는 동시에 태스크 성공률을 12.15% 향상해 안전성과 태스크 유용성 모두에서 동시 이득을 달성합니다.
MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선
MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation
장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.
FinEvo-Bench: 전문 금융 워크플로우 내 자기 진화형 에이전트를 위한 종단적 벤치마크
FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows
시간이 지남에 따라 사용되는 에이전트(agent)는 반복되는 전문적인 업무에 직면합니다. 각 사례는 서로 다른 근거와 판단을 요구하지만, 기초가 되는 워크플로우는 재사용될 수 있습니다. 독립적인 작업들로 구축된 벤치마크는 에이전트가 이전 경험을 후속 사례를 위한 더 나은 절차로 전환하는지 여부를 드러낼 수 없습니다. 우리는 이러한 구조를 기반으로 설계된 종단적(longitudinal) 벤치마크인 FinEvo-Bench를 소개합니다. 이는 6개 금융 도메인의 20개 비즈니스 장면(scene)에 걸친 실제 사례에서 추출한 120개의 개방형 작업으로 구성됩니다. 각 장면은 전문적인 워크플로우와 작업 품질 및 금융 규제 준수를 위해 전문가가 작성한 루브릭을 공유하는 실질적으로 서로 다른 6개의 사례를 포함합니다. 벤치마크를 구축하고 검증하는 데에는 약 1,200인시(person-hours)가 소요되었습니다. 금융은 반복적인 분석이 이질적인 입력에 공유된 전문적 및 규제 준수 요구사항을 적용하여 사례별 분석과 결론을 도출하므로 자연스러운 테스트베드를 제공합니다. 우리는 독립적으로 셔플되고 전역적으로 인터리브된 3개의 작업 스트림에서 Qwen3.7-Max 기반의 네 가지 자기 진화형 에이전트 스캐폴드를 평가합니다. Claude Opus~4.6으로 구동되는 Claude Code 루브릭 판별기가 모든 결과물을 평가하며, 쌍을 이룬 상태 재설정(state-reset) 대조군은 축적된 경험으로부터 각 스캐폴드가 얻은 이득을 추정합니다. 진화하는 실행은 쌍을 이룬 대조군에 비해 작업당 9.33--19.37점 더 높은 점수를 기록하고 규제 준수 문제를 0.12--0.44건 더 적게 유발합니다. 장면 내 순위 4--6에서의 쌍 점수 상승폭은 순위 1--3에서의 상승폭을 6.10--8.70점 초과합니다. FinEvo-Bench는 지속적인 사용 환경에서 축적된 경험이 이후의 전문 업무를 개선하는지 여부를 측정합니다.
ReLiveGym: 수 주간 재현된 현실 스트림 상에서 장기 생존 에이전트 평가
ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality
대규모 언어 모델(LLM) 에이전트가 널리 채택됨에 따라, 지속적인 모니터링이나 반복적인 행동이 필요한 작업(예: 시장 분석)에 점점 더 많이 배포되고 있습니다. 이러한 에이전트는 며칠 또는 몇 주 동안 사람의 개입 없이 운영되고, 적절한 타이밍에 행동하며, 시간에 따른 동적 환경에 적응할 것으로 기대됩니다. 그러나 기존의 장기(long-horizon) 에이전트 연구는 시간에 따라 변화하지 않는 정적인 환경을 고려하는 경우가 많아 이러한 문제를 완전히 포착하지 못합니다. 본 논문에서는 에이전트가 시간 순서대로 재현된 실제 뉴스, 시장 및 소셜 미디어 스트림의 시뮬레이션된 수 주에 걸쳐 드물게 행동하는 장기 생존(long-lived) 작업 진단 평가 환경인 ReLiveGym을 소개합니다. 이 작업들은 다양한 수준의 시간 민감도, 추론 강도 및 반복성을 아우릅니다. 본 연구에서는 8개의 베이스 언어 모델에 걸쳐 모델 선택과 하네스(harness) 설계가 이러한 장기 생존 작업에서 에이전트 성능에 어떤 영향을 미치는지 조사합니다. 실험 결과, 에이전트가 언제 행동할지 결정하는 방식이 장기 생존 작업을 위한 중요한 하네스 설계 축으로 나타났으며, 최적의 설계는 작업에 따라, 때로는 모델 선택에 따라서도 달라진다는 점을 보여줍니다. 또한 사후 피드백(hindsight feedback)을 통한 지속적 학습이 성능에 미치는 영향과 이러한 장기 생존 작업에서 관찰되는 실패 모드를 어떻게 해결하는지 평가합니다. 이러한 발견은 모델 선택, 행동 타이밍 메커니즘, 피드백 활용이 장기 생존 에이전트 설계에서 중요한 고려 사항임을 시사합니다. 코드: https://github.com/SaharaLabsAI/ReLiveGym
RSIAgent: 새로운 환경에서 재귀적 자기 개선을 위한 자율 탐험
RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments
디지털 에이전트는 종종 사전학습된 모델이 인터페이스, 도구, 실패 모드까지 완전히 반영하지 못하는 새로운 환경에 적응해야 한다. 본 논문은 자율적 메모리 구축을 통한 재귀적 자기 개선을 위한 무학습 다중-에이전트 프레임워크인 RSIAgent를 제안한다. RSIAgent는 커리큘럼, 액터(actor), 검증자(verifier) 에이전트를 조율하여 환경을 지속적으로 탐험하고 결과를 검증하며, 행동·조건·결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 유지한다. 또한 broad-then-deep 탐험 전략을 채택하여, 다양한 환경 구조를 찾기 위한 병렬적 넓은 재귀적 자기 탐험과 어려운 사례, 숨겨진 제약, 경계 조건, 이전에 알려지지 않은 인과 의존성을 드러내기 위한 집중적인 깊은 자기 탐험을 결합한다. 이렇게 얻은 메모리는 고정(frozen)되며 모델 파라미터를 갱신하지 않고 하위(downstream) 과제에 바로 재사용할 수 있다. OSWorld-v2와 Agent's Last Exam 실험에서 RSIAgent는 강력한 오픈소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3이 GPT-6을 포함한 최첨단 폐쇄형(closed-source) 모델을 능가하도록 한다.
ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크
ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI
연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
43 pages, including appendices