에이전트 AI의 검증과 자기 개선: 기초 및 한계
Verification and Self-Improvement in Agentic AI: Foundations and Limits
원문 초록
A self-improving agent can find accepted solutions more often without expanding the tasks its verification interface can accept. We extend task-relative verification with explicit support and transcript interfaces to distinguish search gains from changes in accepted-task coverage. A stage's native reach contains tasks accepted with default support; its closure frontier contains tasks accepted with any support the declared interface permits. A semantic containment criterion identifies the authority or exposure condition that every verified escape must violate, while guard-transfer invariance prevents a change of representation from being counted as a capability expansion. An executable Boolean-program repair agent makes the distinction concrete: over 36,864 paired runs, counterexample feedback reduces verifier calls without changing coverage, whereas an enforced permission change admits a new target with a proof excluding every old-interface program. Exact and uniformly gapped randomized verification share this account; independent majority amplification improves reliability while preserving the accepted language. Separate adaptive-selection contracts state what is additionally required to interpret a proposed successor's score as evidence of deployment improvement. Classical hierarchy results and finite audits provide supporting boundaries. The framework specifies the evidence needed to establish improved search, wider accepted capability, and reliable successor selection.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.10611v2제출 시각 미확인
- arXiv:2610.10611v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MC-EvoBench: 마인크래프트 에이전트의 경험 기반 자기 개선 감사
MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents
임바디드(embodied) 재귀적 자기 개선에서 핵심 과제는 에이전트(agent)가 상호작용 기록(interaction history)을 하나의 월드를 넘어 지속되고 이후 과제로 전이되는 능력으로 전환할 수 있게 하는 것이다. 저장된 메모리나 성공적인 최종 행동 자체만으로는 재사용 가능한 능력이 획득되었음을 입증하지 못한다; 평가는 능력 변화를 이전된 자원(carried-over resources), 불균등한 소스 노출(source exposure), 초기 실행 실패와 구분해야 한다. 우리는 19개의 등록된 진화 체인(evolution chain)—12개의 주요 평가 체인과 7개의 보정(calibration) 또는 프로브(probe) 체인—으로 구성된 고정 카탈로그와, 전이(transfer)를 위한 그래프 정렬(graph-aligned) 짝지어진 프로브 패밀리 3개를 포함하는 통제된 마인크래프트 벤치마크인 MC-EvoBench를 구축한다. 이 벤치마크는 각 과제를 과제-상태 그래프(task-state graph)로 표현하고, 단계별(stage-level) 환경(environment) 검증기(verifier)를 정의하며, 일치하는 소스 및 타깃 역할을 배정하고, 타깃 월드를 리셋한 뒤, 선언된 에이전트 아티팩트(agent artifact)만이 소스-타깃 경계를 넘을 수 있도록 허용한다. 각 프로브에 대해 사전 경험 없음(no-prior), 관련(related), 무관(unrelated), 셔플된(shuffled) 소스 조건을 일치된 환경 스텝 예산과 5개의 시드(seed) 하에서 평가하며, TSR, WGP, VMP를 보고하고 출처 기록(provenance record)을 보존한다. 이 벤치마크는 컨트롤러(controller)와 플래너 기반(planner-backed) 변형 간에 일관된 직접 능력 격차(direct-capability gap)를 드러내는 반면, 관련 경험은 안정적인 전이를 제공하지 못한다: 두 도구 프로브 중 어느 것도 개선하지 못하고, 목재 종(wood-species)에서의 작은 향상은 단 하나의 시드에 의존하며, 모든 구간(interval)이 0을 포함한다. 단계별 감사(stage audit)는 또한 초기 목재 수집 및 제작(crafting) 병목이 종종 이후 능력을 관측되지 않게 만든다는 것을 추가로 보여준다. 따라서 MC-EvoBench는 지속적이고 전이 가능한 임바디드 능력을 위한 통제된 테스트베드를 제공한다. 코드와 데이터는 https://github.com/xzw-ustc/mc-bench-open-source 에서 확인할 수 있다.
컴포넌트 테스트를 넘어서: 에이전틱 AI 시스템 검증
Beyond Component Testing: Validating Agentic AI Systems
에이전틱 AI(Agentic AI) 시스템은 계획(planning), 도구 사용, 메모리, 상호작용 및 적응을 결합한 다단계 궤적(trajectory)을 통해 동작합니다. 이러한 동작 특성으로 인해 수용 가능한 시스템 동작이 시간에 따라, 그리고 변화하는 환경 조건 하에서 결정이 어떻게 전개되는지에 좌우되므로, 검증(validation) 실무는 기존의 컴포넌트 테스트와 단발성 입출력 평가를 넘어서는 수준으로 확장됩니다. 본 체계적 매핑 연구(systematic mapping study)는 에이전틱 시스템의 검증 문제를 규명하기 위해 에이전트 평가, 소프트웨어 보증, 사이버-물리 시스템, 런타임 모니터링 및 규제 지침에 걸친 262편의 논문을 종합합니다. 본 검토는 행동적, 안전성(safety), 시간적, 규제적, 다중 에이전트 관심사를 다루는 5차원 분류 체계를 중심으로 구성되며, 해당 분류 체계를 사용하여 현재의 접근 방식을 매핑하고 접근 방식과 차원 간의 밀집 및 희소 조합을 식별합니다. 생성된 맵에 따르면 문헌은 행동 평가(262편 중 105편)에 집중되어 있으며 시간적 타당성(14편)이 가장 미흡한 것으로 나타났습니다. 규제 관련 연구는 주로 IEEE 색인 학술 행사에서 발표된 보증 케이스(assurance cases) 및 규제 분석에 기반하고 있으며, 다중 에이전트 연구는 주로 벤치마크에 집중되어 있습니다. 세 가지 교차 도메인 사례 연구(의료 케어, 산업 운영, 스마트 모빌리티 시스템)는 검토된 문헌에 기록된 실패 패턴을 바탕으로 안전이 중요한(safety-critical) 환경에서 5가지 분류 차원이 어떻게 반복적으로 나타나는지에 대한 운영적 예시를 제공합니다. 본 논문은 경계가 지정된 자율성(bounded-autonomy) 명세, 적대적 궤적 생성, 런타임 모니터링, 감사 가능한 증거 구조를 중심으로 한 수명 주기 지향적 연구 과제를 제시하며 마무리됩니다. 본 연구의 핵심 주장은 에이전틱 AI의 신뢰할 수 있는 배포가 고립된 컴포넌트만을 평가하는 것이 아니라 맥락 내에서 궤적을 검증하는 것에 달려 있다는 점입니다.
SeOPD: 자체 생성된 사고의 연쇄로부터의 온라인 정책 증류를 통한 자가 진화형 대규모 언어 모델
SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought
온라인 정책 자가 증류(OPSD)의 최근 발전은 대규모 언어 모델(LLM)이 수작업 주석이나 외부 환경 피드백과 같은 외부 특권 정보(PI)를 활용하여 역량을 향상할 수 있음을 보여주었다. 그러나 정확한 주석을 확보하고 정교한 환경을 구축하는 데는 상당한 인적 노력과 연산이 요구되는 경우가 많아 OPSD의 확장성을 제한한다. 최근 몇몇 연구에서 외부 PI 없는 자가 개선을 탐색했으나 그에 따른 이득은 여전히 제한적이다. 본 연구에서는 LLM이 외부 PI 없이도 이에 필적하는 자가 개선을 달성할 수 있는지 탐구한다. 우리의 핵심 관찰은 단일 LLM이 심층 사고(deep-thinking) 모드 및 비사고(non-thinking) 모드와 같은 여러 추론(reasoning) 모드를 지원할 수 있으며, 심층 사고는 추론 과정에서 추가 정보를 생성한다는 점이다. 이러한 관찰을 바탕으로 우리는 LLM이 자체적인 사고의 연쇄(Chain-of-Thought, CoT)에서 생성된 정보를 증류하고 내재화할 수 있도록 하는 자가 진화형 온라인 정책 증류(SeOPD)를 제안한다. 구체적으로 SeOPD는 (1) 심층 사고 모드로 CoT를 생성하고, (2) 비사고 모드로 응답을 생성하며, (3) 생성된 CoT를 PI로 활용하여 비사고 응답에 토큰 수준의 감독을 제공함으로써, 추론 중 도출된 새로운 정보가 비사고 모드를 안내하고 공유된 모델 파라미터로 내재화되도록 하여 비사고 및 심층 사고 역량을 모두 향상시킨다. 다양한 LLM과 과제에 걸친 광범위한 실험은 SeOPD의 효과를 입증한다.
PAPER2LLM++: 연구 논문을 통한 대규모 언어 모델(LLM)의 지속적 자기 진화
PAPER2LLM++: Continual Self-Evolution of LLMs from Research Papers
대규모 언어 모델(LLM)에 관한 연구는 모델의 한계점과 그 원인, 잠재적 해결책을 지속적으로 밝혀내고 있습니다. 그러나 이러한 인간의 발견은 모델의 진화와 대체로 단절되어 있으며, LLM은 자신의 실패 사례를 다룬 새로운 연구로부터 자동으로 학습하지 못합니다. 본 논문에서는 연구 논문을 기반으로 LLM이 지속적으로 자기 진화할 수 있도록 지원하는 프레임워크인 PAPER2LLM++를 소개합니다. PAPER2LLM++는 논문을 단순한 검색 대상 지식으로 취급하는 대신, 계속해서 늘어나는 문헌들을 모델 개선을 위한 증거이자 지도 신호(supervision)의 연속적인 흐름으로 활용합니다. 새로 유입되는 논문마다 근거 기반의 연구 결과를 추출하고, 보고된 한계점이 현재 모델에 여전히 존재하는지 테스트하며, 필요한 경우 이러한 발견을 후보 학습 신호로 변환합니다. 이후 '시도-평가-반영(try-evaluate-commit)' 절차를 통해 이전 개선 사항을 크게 잊거나 일반적인 성능을 저하시키지 않으면서 목표한 동작을 개선할 때에만 업데이트를 통합합니다. 연구를 통해 발견된 LLM 실패 사례들의 순차적 흐름 전반에 걸쳐, 모델이 이전의 성능 향상을 유지하면서 새로운 연구 결과를 점진적으로 통합할 수 있음을 보여줍니다. 따라서 PAPER2LLM++는 인간의 발견과 모델 진화 사이의 간극을 좁히는 한 걸음을 내딛으며, 모델이 자신의 한계와 개선 방안에 대한 연구로부터 지속적으로 학습할 수 있도록 합니다.
민감한 토론을 수행하는 방법: AI 토론을 위한 인스턴스 최적 프로토콜
How to Have a Sensitive Debate: An Instance-Optimal Protocol for AI Debate
강력한 인공지능(AI) 시스템이 인지적으로 까다로운 다양한 작업 전반에서 인간 전문가의 능력을 도달하거나 때로는 능가함에 따라, 이러한 시스템에 대한 정확한 감독 및 관리 감독(supervision) 문제가 점점 더 시급해지고 있습니다. 유망한 접근법 중 하나는 두 개의 강력한 AI 간의 토론을 활용하여 복잡한 질문을 직접 쉽게 판단할 수 있는 더 단순한 주장들로 분해하는 AI 토론(AI debate)입니다. 토론에 관한 이론적 연구는 계산 복잡도 이론의 언어로 이러한 직관을 공식화해 왔으며, 여기서의 목표는 제한된 감독 하에서도 복잡한 문제에 대한 해답 판단의 정확성을 엄격하게 보장하는 프로토콜(즉, 토론 게임의 규칙)을 설계하는 것입니다. 구체적으로, 현재 최상의 프로토콜은 하위 문제로 충분히 안정적인 분해가 가능한 모든 문제에 대해 작동하는 것으로 입증되었습니다. 본 논문에서는 동일한 문제 군을 대상으로 이전 연구를 여러 방면에서 개선한 새로운 프로토콜을 설계합니다. 첫째, 정확성이 평균적(average-case) 의미가 아닌 최악의 경우(worst-case)에도 유지됩니다. 둘째, 정직하고 정확하게 행동하는 것이 슈타켈버그 균형(Stackelberg equilibrium)이 아니라 양쪽 토론자 모두에게 우월 전략 균형(dominant-strategy equilibrium)이 됩니다. 마지막으로, 블랙박스 하한(black-box lower bounds)을 증명하여 새로운 프로토콜이 인스턴스별 최적(instance-wise optimal)임을 보입니다. 즉, 이 문제 군에 대해 인간의 판단에 대한 블랙박스 질의만을 수행하면서 본 프로토콜보다 우수한 성능을 낼 수 있는 프로토콜은 존재하지 않습니다. 저자들은 안정적인 문제 분해라는 개념을 질의 복잡도(query complexity)의 분수 블록 민감도(fractional block sensitivity) 개념과 연관 지음으로써 이러한 결과를 도출합니다.
최첨단 추론 데이터 생성을 위한 재귀적 하네스 자기 개선
Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis
점진적으로 더 어려운 추론 문제를 생성하려면 태스크 분포가 진화함에 따라 적응하는 합성 절차가 필요합니다. 기존의 태스크 수준 재귀는 생성된 문제를 시드(seed)로 재사용하지만 구축 하네스(construction harness)는 변경하지 않고 그대로 유지합니다. 본 논문에서는 추론 데이터 합성에서 재귀적 하네스 자기 개선(recursive harness self-improvement, RSI)을 위한 프레임워크인 태스크-하네스 공진화(task-harness co-evolution)를 제안합니다. 온라인 자기 개선은 생성 과정 중 솔버(solver)의 중간 실패를 재사용 가능한 스킬로 변환합니다. 사후(post-task) 자기 개선은 각 배치 이후 스킬, 프롬프트, 워크플로를 수정하며, 제한된 비용 증가 범위 내에서 더 어렵고 유효한 태스크를 생성할 때만 후보를 채택합니다. 모델 가중치와 검증 기준은 고정된 상태로 유지됩니다. 수학, 코딩, 과학 전반에서 14회의 진화 라운드에 걸쳐 평균 솔버 정확도가 100.0%에서 54.8%로 감소합니다. 어블레이션 연구에 따르면 두 업데이트 일정을 결합할 경우 고정 하네스 재귀나 단일 일정만을 사용할 때보다 더 어려운 태스크가 생성됨을 보여줍니다. 이렇게 생성된 데이터는 다운스트림 SFT 및 GRPO 성능을 향상시킵니다. 특히 합성된 1만 개의 수학 예제로 파인튜닝(fine-tuning)된 27B 학생 모델은 APEX에서 62.5%의 mean-16 정확도를 달성하여 일부 최첨단(frontier) 참조 모델과 경쟁력 있는 성능을 보입니다. 이러한 결과는 다운스트림 학습 가치를 지닌 점점 더 도전적인 데이터를 생성하기 위해 태스크와 함께 합성 하네스를 적응시키는 방식을 뒷받침합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
26 pages, 5 figures. Includes proofs and reproducibility artifacts