자기 진화 에이전트(self-evolving agent)는 자신의 하네스(harness)를 재작성하며 어떤 재작성본을 유지할지 결정해야 하므로, 에이전트의 개선 신호는 재작성본이 통과해야 하는 검증이 됩니다. 에이전트 롤아웃(rollout)으로 재작성을 검증하는 것은 비용이 많이 들고 주관적인 반면, 저장소 자체의 테스트와 같은 실행 가능한 검증은 동작을 변화시키는 재작성을 포착하기에는 너무 희소하여 그중 4분의 1만을 거부합니다. 우리는 그 대신 테스트 피드백을 실행 가능한 신호로 삼고, 신호가 조밀하고 유익할 수 있도록 품질-다양성(quality-diversity) 진화 알고리즘을 통해 작으면서도 강력한 테스트 스위트(test suite)를 탐색합니다. TeSearch는 스위트 크기를 행동 기술자(behavior descriptor)로 취급하여 모든 크기에서 품질을 추구하고 작고 강력한 스위트에 도달할 수 있도록 하며, 해당 기술자에 대한 액추에이터로서 대규모 언어 모델(LLM)의 노이즈를 제거하는 전이 커널(transition kernel)을 탐색 과정에서 학습합니다. 129개의 실제 모듈과 세 가지 백본에 걸쳐, TeSearch는 LLM 기반 진화 탐색을 포함해 비교된 모든 방법 중 가장 높은 품질의 스위트를 제공하며, LLM 기반 방법 중 가장 작은 크기를 달성합니다. 자기 진화 에이전트의 개선 신호로 사용되었을 때, 이는 4.0%의 오경보율(false-alarm rate)과 결정당 3.5초의 속도로 동작을 변화시키는 재작성의 59.9%를 거부하여 저장소 자체 테스트의 25.3%와 대비를 이룹니다. 코드와 데이터는 https://github.com/ccsnow127/TeSearch 에서 확인할 수 있습니다.
실제 환경에 배포된 대규모 언어 모델(LLM) 에이전트(agent)는 새로운 태스크와 안전성(safety) 위험에 지속적으로 직면하지만, 실행 피드백은 대개 각 태스크가 완료된 후에야 얻을 수 있습니다. 그러나 기존의 자기 진화(self-evolving) 접근 방식은 고정되어 반복적으로 접근 가능한 태스크 분포에 대한 여러 차례의 최적화(optimization)에 주로 의존하므로, 과거 태스크에서 축적된 경험만을 활용해 미래의 미확인 태스크에 대한 안전 결정을 개선해야 하는 실제 배포 환경에서의 테스트 시점 적응(test-time adaptation)과는 근본적으로 다릅니다. 이러한 한계를 해결하기 위해, 우리는 런타임에 축적된 경험으로부터 외부 안전 시스템이 지속적으로 적응할 수 있도록 지원하는 LLM 에이전트 안전을 위한 테스트 시점 하네스-가드(Harness-Guard) 공진화 프레임워크인 SafeCoEvo를 제안합니다. SafeCoEvo는 서로 다른 시간 척도에서 두 가지 상호 보완적인 안전 역량을 공동으로 향상합니다. S-Harness는 최근의 런타임 경험을 후속 태스크에 신속하게 영향을 미칠 수 있는 갱신 가능한 명시적 안전 지식으로 빠르게 외재화하는 반면, GuardVPO는 더 긴 시간 척도에 걸쳐 축적된 런타임 안전 경험을 매개변수 기반 위험 판단 역량으로 내재화합니다. 단기적인 빠른 적응과 장기적인 역량 강화를 결합함으로써 SafeCoEvo는 에이전트의 안전 역량을 지속적으로 개선하여, 가장 강력한 기준선(baseline) 대비 안전하지 않은 결과 발생률을 10.05% 줄이는 동시에 태스크 성공률을 12.15% 향상해 안전성과 태스크 유용성 모두에서 동시 이득을 달성합니다.
대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.
시간이 지남에 따라 사용되는 에이전트(agent)는 반복되는 전문적인 업무에 직면합니다. 각 사례는 서로 다른 근거와 판단을 요구하지만, 기초가 되는 워크플로우는 재사용될 수 있습니다. 독립적인 작업들로 구축된 벤치마크는 에이전트가 이전 경험을 후속 사례를 위한 더 나은 절차로 전환하는지 여부를 드러낼 수 없습니다. 우리는 이러한 구조를 기반으로 설계된 종단적(longitudinal) 벤치마크인 FinEvo-Bench를 소개합니다. 이는 6개 금융 도메인의 20개 비즈니스 장면(scene)에 걸친 실제 사례에서 추출한 120개의 개방형 작업으로 구성됩니다. 각 장면은 전문적인 워크플로우와 작업 품질 및 금융 규제 준수를 위해 전문가가 작성한 루브릭을 공유하는 실질적으로 서로 다른 6개의 사례를 포함합니다. 벤치마크를 구축하고 검증하는 데에는 약 1,200인시(person-hours)가 소요되었습니다. 금융은 반복적인 분석이 이질적인 입력에 공유된 전문적 및 규제 준수 요구사항을 적용하여 사례별 분석과 결론을 도출하므로 자연스러운 테스트베드를 제공합니다. 우리는 독립적으로 셔플되고 전역적으로 인터리브된 3개의 작업 스트림에서 Qwen3.7-Max 기반의 네 가지 자기 진화형 에이전트 스캐폴드를 평가합니다. Claude Opus~4.6으로 구동되는 Claude Code 루브릭 판별기가 모든 결과물을 평가하며, 쌍을 이룬 상태 재설정(state-reset) 대조군은 축적된 경험으로부터 각 스캐폴드가 얻은 이득을 추정합니다. 진화하는 실행은 쌍을 이룬 대조군에 비해 작업당 9.33--19.37점 더 높은 점수를 기록하고 규제 준수 문제를 0.12--0.44건 더 적게 유발합니다. 장면 내 순위 4--6에서의 쌍 점수 상승폭은 순위 1--3에서의 상승폭을 6.10--8.70점 초과합니다. FinEvo-Bench는 지속적인 사용 환경에서 축적된 경험이 이후의 전문 업무를 개선하는지 여부를 측정합니다.
자기 진화 에이전트는 상호작용 피드백을 기억이나 스킬 같은 지속적 산출물로 변환하고, 이는 이후 의사결정을 이끈다. 경험 스트림 전반에서 이러한 산출물이 반복적으로 갱신되면, 그들이 지원하는 역량은 진화할 수 있다. 따라서 최종 성능만으로는 자기 진화를 완전히 파악하기 어렵다. 프로세스 수준 평가는 목표 역량이 언제 출현하는지, 이후 갱신이 이를 강화·유지·약화하는지 밝히는 데 필수적이다. 이에 동기를 받아, 산출물 수준 자기 진화 과정에서 개별 역량을 추적하는 벤치마크 EvoPathBench를 제안한다. EvoPathBench는 기본 모델과 도구를 고정하고, 연속 체크포인트에서 진화 중인 산출물을 동결한 뒤, 홀드아웃 에피소드에서 목표 역량을 평가한다. 이 벤치마크는 공개 거래 데이터와 보정된 궤적을 사용해 에이전트 자기 진화를 평가하며, 세 가지 역량을 검증한다: 보지 못한 과제로의 일반화, 무관한 학습 이후 보존, 새로운 증거에 대한 규칙 적응. 실험 결과, 유사한 미복 과제에서의 이득은 분포 이동(distribution shift) 하에서 종종 약해지고, 보존 손실은 소수의 진화 경로에 집중되며, 어떤 방법도 신뢰할 만한 규칙 적응을 달성하지 못한다. 더욱이 자기 진화는 에이전트가 홀드아웃에서 상당한 이득을 보이는 후보 산출물을 생성하게 하지만, 선택된 갱신은 일관되게 그 잠재력을 실현하지 못한다. 종합하면, 이러한 결과는 역량 수준 프로세스 평가를 자기 진화 분석의 토대로 확립하고, 후보 평가와 선택을 개선의 핵심 과제로 지적한다.
전략적으로 복잡한 보드 게임에서 인간 플레이어는 몇 판만 해도 빠르게 전략을 짜는 법을 배울 수 있다. 자율 에이전트도 현실적인 상호작용 환경에서 이와 비슷한 능력이 필요하지만, 기존 에이전트 벤치마크는 그런 전략적·진화적 의사결정 상황을 충분히 담아내지 못하는 경우가 많다. 본 논문은 포켓몬 트레이딩 카드 게임(PTCG) 기반 벤치마크 PTCG-Bench를 제안하며, LLM 에이전트를 두 상보적 층위에서 평가한다: (1) 단일 복잡 환경 안에서의 의사결정 성능, (2) 축적된 경험을 통한 자기 진화(self-evolving) 능력. 또한 모델 능력과 섞이지 않도록 에이전트 성능을 해석하기 위해 모듈형 하네스(harness) ablation을 포함한다. 실험 결과 LLM 에이전트는 사소하지 않은 게임플레이 성능을 낼 수 있으나, 지속적·안정적인 자기 진화는 여전히 어렵고 성능은 하네스 설계에 민감하다. PTCG-Bench가 현실적 상호작용 환경에서 하네스를 고려한(harness-aware) 자기 진화 에이전트 연구를 돕기를 기대한다.
자기 진화(self-evolving) 에이전트 루프는 에이전트(프롬프트 템플릿 또는 프로그램)의 수정된 버전을 반복적으로 제안하고, 반복(iteration)마다의 품질 신호에 따라 변경을 수락하거나 거부한다. 이 신호를 설계하는 것이 프로젝트에서 종종 비용이 큰 부분이다. 신뢰할 수 있는 스칼라 보상은 도메인 전문성과 라벨이 달린 예시가 필요하며, 이 예시들을 구축하는 비용 자체가 에이전트의 기본 과제만큼 비싸다. 우리는 수락/거부 게이트의 스칼라를 쌍대 검증자(pairwise validator)로 대체할 것을 제안한다. 쌍대 검증자는 고정된(frozen) LLM으로, 부모 후보와 자식 후보가 주어지면 어느 쪽이 더 나은지에 대한 이진 판정을 반환한다. 쌍대 판단은 대조적(contrastive) 특성 때문에 절대 점수화보다 일반적으로 더 쉽고 안정적이며, 엄격한 스케일 보정(calibration)의 필요성을 완화한다. 검증자 또한 별도의 학습(training)이 필요하지 않다. 우리는 검증자를 세 가지 공개된 자기 진화 엔진(GEPA, ADRS, ShinkaEvolve)에 통합하고 두 가지 변형을 보고한다. Adaptive Focus는 엔진의 기존 검증 집합(val-set) 부모 선택을 유지하고, Soft Elo는 검증자의 판정이 부모 선택을 주도하게 하여 검증 집합 보상도 제거한다. 여러 에이전트와 두 가지 산출물 기판(프롬프트와 코드)에 걸쳐, 우리 방법은 평가한 설정의 대부분에서 전체 보상(full-reward) 기준선(baseline)과 동등하거나 이를 초과하며, 이 패턴은 교차 계열(cross-family) 검증자 교체에도 유지된다. 따라서 쌍대 게이트는 라벨링 비용 없이 경쟁력 있는 과제 정확도에서 단계별 보상 설계를 대체할 수 있는 즉시 교체형(drop-in replacement) 솔루션이다.
Self-evolving agents violate the assumption behind most learning-theoretic guarantees: the data, evaluator, components, and hypothesis space are produced by the policy being updated. We present \textbf{SEA}, an architecture that confines self-modification to a small steering adapter and a versioned harness around a \emph{frozen} base model and admits each modification only through an anytime-valid gate that emits an auditable certificate against a fixed error budget. Five loop controllers compose published guarantees; because such gates can only \emph{select} among behaviors the frozen base already produces, five verifier-in-the-loop mechanisms -- best-of-$N$, micro-step search, self-authored reproduction oracles, search-layer control, and self-repair -- supply the dense, grader-free signal the gates require, computed from the issue text alone. On a $52$-instance SWE-bench Verified subset across four base models, base capability is the dominant, confound-free effect, and on two strong base models a deliberate no-op-composite control isolates the suite's contribution at $+4$ and $+5$ (\textsc{Glm}~5.2 $24\to28$; \textsc{Gpt} $29\to34$, the $65\%$ best), with event logs confirming that its mechanisms fire and prevent regressions. Results are single-run on expensive evaluations; confirming run-to-run variance and adapting the per-task algorithm mix are future work.
LLM agents are increasingly improved without weight updates by evolving a natural-language artifact, such as reflections, workflows, playbooks, cheatsheets, or optimized prompts, that conditions a frozen policy. Such methods are typically reported as wins on the single benchmark where they help. We study them apples-to-apples and surface a sharper picture. We introduce RSEA, a Recursive Self-Evolving Agent that carries a compact three-layer natural-language state: an imperative strategy, reusable skills, and a procedural playbook. Across generations, RSEA rewrites all three layers from its own trajectories and commits a candidate only if it does not regress on a disjoint held-out split, using a strict keep-better gate. Across four diverse benchmarks, ALFWorld, GAIA, (τ)-bench, and WebShop, and six faithful baselines, ReAct, Reflexion, GEPA, AWM, ACE, and Dynamic Cheatsheet, all evaluated on one shared local backbone, we find three main results. First, no artifact universally wins. RSEA is the strongest single-pass method on ALFWorld, reaching 69.3% compared with 64.6% for ReAct (McNemar (p=0.015)), and reaches 79.4% with retry, the best overall result. However, concrete-workflow induction, represented by AWM, is best on the strong-backbone tool-use tasks. Second, unguarded context evolution is high-variance and unsafe. Dynamic Cheatsheet, which curates context online without a held-out gate, is near-best on ALFWorld at 70.7%, yet collapses on WebShop, with a score of 0.14 compared with 0.43 for ReAct. Third, RSEA's strict held-out selection is what makes recursive self-evolution monotone-safe: it never significantly underperforms the base agent on any benchmark and falls back to vanilla ReAct when evolved context would hurt.
자기 진화(self-evolving) 에이전트의 경험을 텍스트 메모리와 코드 메모리로 나눠 비교한 통제 실험에서 두 표현은 구축 비용, 실행 효율, 전이 안정성 측면에서 상호 보완적이며 어느 하나만으로는 부족함을 확인했다. 이에 Metis는 텍스트 경험을 실행 계획, 환경 사실, 흔한 함정으로 구조화하고 반복되는 계획만 검증된 호출 가능 도구로 선택적으로 결정화하는 계층적 이중 표현 메모리를 제안하며, AppWorld 벤치마크에서 ReAct 대비 작업 정확도를 최대 20.6% 높이고 실행 비용을 최대 22.8% 줄였다.
기존 의료 AI가 대화형 세션의 환자 결과와 실패 기록에서 동적으로 학습하기 어렵다는 한계를 해결하기 위해, VIBEMed는 임상 진단·치료 실행·임상 진화 관리 세 전문 에이전트와 메모리·모델·코드 수준의 자가 진화 메커니즘, 아키텍처 수준 안전 샌드박스를 결합한 멀티 에이전트 임상 의사결정 지원 프레임워크를 제안한다. 실험에서 복잡한 임상 사례와 종양학 치료 계획 등 통합적·종단적 의사결정이 필요한 과제에서 진화 메커니즘을 통해 우수한 성능과 신뢰할 수 있는 엔드투엔드 결정을 보였다.
메모리는 자기 진화 에이전트의 표준 기반이 되었지만, 경험을 보존하는 것과 그 경험을 통해 진화하는 방법을 학습하는 것은 동일하지 않다. 기존 메모리 에이전트는 궤적을 저장하고, 반성을 검색하거나, 기술을 축적할 수 있지만, 유용한 경험을 선택하고 이를 행동에 옮기며, 재사용 가능한 지식을 작성하고, 성장하는 저장소를 유지하는 포괄적 역량이 종종 부족하다. 우리는 온-정책 자기 증류를 통해 그러한 에이전트 진화기를 육성하는 슬로-패스트 공진화 프레임워크인 OPD-Evolver를 제안한다. 패스트 루프에서 OPD-Evolver는 4단계 메모리 계층과 상호작용하여 경험을 읽고, 사용하고, 작성하고, 유지함으로써 신속한 테스트 시점 진화를 수행한다. 슬로 루프에서는 결과 교정 메모리 귀속과 특권적 후견이 이 네 가지 능력을 배포 가능한 정책으로 증류한다. 다중 도메인 벤치마크에서 OPD-Evolver는 ReasoningBank와 같은 메모리 시스템을 최대 11.5% 능가하고, Skill0와 같은 학습 기반 방법을 약 5.8% 능가한다. 추가 분석에 따르면 OPD-Evolver는 고가치 경험과 메모리 관리를 내재화하여, OPD-Evolver-9B가 Qwen3.5-397B-A17B 및 Step-3.5-Flash와 같은 거대 모델에 맞설 수 있게 하며, 메모리 증강 에이전트를 넘어 진정으로 자격을 갖춘 에이전트 진화기를 향함을 시사한다.
자기 진화(Self-evolving) LLM 기반 에이전트는 주로 에이전트 하네스(agent harness)를 변경함으로써 개선됩니다. 에이전트 하네스란 기반 모델을 둘러싼 구조화된 실행 층으로, 프롬프트, 메모리, 도구, 미들웨어, 런타임 상태, 그리고 모델-도구 상호작용 루프를 포함합니다. 기존 평가들은 종종 이 과정을 개별 태스크 점수나 단일 순차적 곡선으로 단순화하여, 업데이트가 재사용 가능한 개선을 만들어내는지, 최근 태스크에 과적합(overfit)되는지, 비용이 증가하는지, 또는 기존 동작을 손상시키는지를 불분명하게 만듭니다. 우리는 학습, 검증, 테스트, 재현(replay), 비용 기록 전반에 걸쳐 에이전트 하네스 업데이트를 측정하기 위한 평가 환경인 SEAGym을 소개합니다. SEAGym은 Harbor 호환 벤치마크를 학습 배치, 동결된 업데이트-검증, 홀드아웃 ID 및 OOD 전이(transfer) 뷰, 재현 진단, 저장된 스냅샷 및 메트릭 기록을 갖춘 동적 자기 진화 태스크 소스로 변환합니다. Terminal-Bench 2.0과 HLE에 SEAGym을 적용하여 공유된 에포크/배치 프로토콜 하에서 ACE, TF-GRPO, AHE를 비교합니다. 결과는 이러한 평가 뷰들이 진화 과정에 대한 상호 보완적인 신호를 제공함을 보여줍니다: 빈번한 업데이트가 홀드아웃 성능을 개선하지 못할 수 있으며, 유용한 중간 스냅샷이 이후에 붕괴될 수 있고, 소스 다양성과 모델 백엔드가 하네스 신뢰성에 영향을 미칠 수 있습니다.