arXiv:2611.23476v1 cs.AI

GUARD: 후회 기반 안내를 통한 재귀적 자기 개선의 안정화

GUARD: Stabilizing Recursive Self-Improvement with Regret Guidance

Minghe Zhang, Xuetao Kang, Yifei Ming, Yanfei Chen, Han Yu, Yufan Zhuang, Chen-Yu Lee

제출 2026-11-19

한국어 초록

자율 AI 에이전트는 고정된 기반 모델과 프롬프트, 스킬, 도구 규칙, 메모리로 이루어진 편집 가능한 하네스를 결합한다. 재귀적 자기 개선(RSI)은 가중치 갱신 없이 경험으로부터 이 하네스를 적응시키지만, 외부 채점기 없는 자기 편집은 흔히 역효과를 낳는다. 성찰과 스칼라 점수는 편집이 새로 망가뜨린 것과 여전히 해결되지 않은 것을 혼동하게 하여, 국소적 퇴행, 스킬 망각, 메모리 비대화를 초래한다. 우리는 참조 없는 지속적 하네스 진화를 위한 폐루프 프레임워크 GUARD(Grader-free Unsupervised Environment Design [UED] with Adaptive Rule Distillation)를 소개한다. 핵심 통찰은 각 과제를 실행 전 자기 점검 항목으로 분해하고 방향성 후회를 통해 하네스 갱신을 안내하는 것이다. 각 라운드는 궤적을 이러한 점검 항목에 대해 채점하여, 숙달된 규칙은 고정하고 새로 망가진 행동을 우선시하며, 비평가 없는 그룹 상대 적합도로 병렬 후보 편집 중에서 선택한다. 이후 Soft-HURT 게이트는 이득이 퇴행을 능가할 때만 편집을 승격하고, 특수한 수정의 범위를 한정하여 과잉 발동을 방지하며 게이트가 적용된 버퍼에서 비퇴행을 보장한다. 테스트 시에는 하나의 고정된 하네스가 단일 패스로 실행된다. 메모리, 스킬 진화, 지속적 과제 스트림, 도메인 추론에 걸친 벤치마크에서 GUARD는 치명적 망각이나 메모리 오염 없이 일관되게 성능을 향상시키며 배포 시 토큰 사용량을 크게 줄인다.

원문 초록

Autonomous AI agents pair a frozen base model with an editable harness of prompts, skills, tool rules, and memory. Recursive self-improvement (RSI) adapts this harness from experience without weight updates, yet self-editing without external graders often backfires: reflection and scalar scores conflate what an edit newly broke with what remains unsolved, causing local regressions, skill forgetting, and memory bloat. We introduce GUARD (Grader-free Unsupervised Environment Design [UED] with Adaptive Rule Distillation), a closed-loop framework for reference-free continual harness evolution. Our key insight is to decompose each task into pre-execution self-checks and guide harness updates via directional regret. Each round grades trajectories against these checks, pinning mastered rules while prioritizing newly broken behaviors, and selects among parallel candidate edits by critic-free group-relative fitness. A Soft-HURT gate then promotes an edit only when gains outweigh regressions, scoping specialized fixes to prevent over-triggering and guaranteeing non-regression on its gated buffer. At test time, one frozen harness runs in a single pass. Across benchmarks on memory, skill evolution, continual task streams, and domain reasoning, GUARD consistently improves performance without catastrophic forgetting or memory pollution while substantially cutting deployment token usage.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23476v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.