PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10611v2cs.AI

에이전트 AI의 검증과 자기 개선: 기초 및 한계

Verification and Self-Improvement in Agentic AI: Foundations and Limits

A self-improving agent can find accepted solutions more often without expanding the tasks its verification interface can accept. We extend task-relative verification with explicit support and transcript interfaces to distinguish search gains from changes in accepted-task coverage. A stage's native reach contains tasks accepted with default support; its closure frontier contains tasks accepted with any support the declared interface permits. A semantic containment criterion identifies the authority or exposure condition that every verified escape must violate, while guard-transfer invariance prevents a change of representation from being counted as a capability expansion. An executable Boolean-program repair agent makes the distinction concrete: over 36,864 paired runs, counterexample feedback reduces verifier calls without changing coverage, whereas an enforced permission change admits a new target with a proof excluding every old-interface program. Exact and uniformly gapped randomized verification share this account; independent majority amplification improves reliability while preserving the accepted language. Separate adaptive-selection contracts state what is additionally required to interpret a proposed successor's score as evidence of deployment improvement. Classical hierarchy results and finite audits provide supporting boundaries. The framework specifies the evidence needed to establish improved search, wider accepted capability, and reliable successor selection.

arXiv:2610.13829v1cs.RO

MC-EvoBench: 마인크래프트 에이전트의 경험 기반 자기 개선 감사

MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents

임바디드(embodied) 재귀적 자기 개선에서 핵심 과제는 에이전트(agent)가 상호작용 기록(interaction history)을 하나의 월드를 넘어 지속되고 이후 과제로 전이되는 능력으로 전환할 수 있게 하는 것이다. 저장된 메모리나 성공적인 최종 행동 자체만으로는 재사용 가능한 능력이 획득되었음을 입증하지 못한다; 평가는 능력 변화를 이전된 자원(carried-over resources), 불균등한 소스 노출(source exposure), 초기 실행 실패와 구분해야 한다. 우리는 19개의 등록된 진화 체인(evolution chain)—12개의 주요 평가 체인과 7개의 보정(calibration) 또는 프로브(probe) 체인—으로 구성된 고정 카탈로그와, 전이(transfer)를 위한 그래프 정렬(graph-aligned) 짝지어진 프로브 패밀리 3개를 포함하는 통제된 마인크래프트 벤치마크인 MC-EvoBench를 구축한다. 이 벤치마크는 각 과제를 과제-상태 그래프(task-state graph)로 표현하고, 단계별(stage-level) 환경(environment) 검증기(verifier)를 정의하며, 일치하는 소스 및 타깃 역할을 배정하고, 타깃 월드를 리셋한 뒤, 선언된 에이전트 아티팩트(agent artifact)만이 소스-타깃 경계를 넘을 수 있도록 허용한다. 각 프로브에 대해 사전 경험 없음(no-prior), 관련(related), 무관(unrelated), 셔플된(shuffled) 소스 조건을 일치된 환경 스텝 예산과 5개의 시드(seed) 하에서 평가하며, TSR, WGP, VMP를 보고하고 출처 기록(provenance record)을 보존한다. 이 벤치마크는 컨트롤러(controller)와 플래너 기반(planner-backed) 변형 간에 일관된 직접 능력 격차(direct-capability gap)를 드러내는 반면, 관련 경험은 안정적인 전이를 제공하지 못한다: 두 도구 프로브 중 어느 것도 개선하지 못하고, 목재 종(wood-species)에서의 작은 향상은 단 하나의 시드에 의존하며, 모든 구간(interval)이 0을 포함한다. 단계별 감사(stage audit)는 또한 초기 목재 수집 및 제작(crafting) 병목이 종종 이후 능력을 관측되지 않게 만든다는 것을 추가로 보여준다. 따라서 MC-EvoBench는 지속적이고 전이 가능한 임바디드 능력을 위한 통제된 테스트베드를 제공한다. 코드와 데이터는 https://github.com/xzw-ustc/mc-bench-open-source 에서 확인할 수 있다.

arXiv:2609.33181v2cs.AI

SeOPD: 자체 생성된 사고의 연쇄로부터의 온라인 정책 증류를 통한 자가 진화형 대규모 언어 모델

SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought

온라인 정책 자가 증류(OPSD)의 최근 발전은 대규모 언어 모델(LLM)이 수작업 주석이나 외부 환경 피드백과 같은 외부 특권 정보(PI)를 활용하여 역량을 향상할 수 있음을 보여주었다. 그러나 정확한 주석을 확보하고 정교한 환경을 구축하는 데는 상당한 인적 노력과 연산이 요구되는 경우가 많아 OPSD의 확장성을 제한한다. 최근 몇몇 연구에서 외부 PI 없는 자가 개선을 탐색했으나 그에 따른 이득은 여전히 제한적이다. 본 연구에서는 LLM이 외부 PI 없이도 이에 필적하는 자가 개선을 달성할 수 있는지 탐구한다. 우리의 핵심 관찰은 단일 LLM이 심층 사고(deep-thinking) 모드 및 비사고(non-thinking) 모드와 같은 여러 추론(reasoning) 모드를 지원할 수 있으며, 심층 사고는 추론 과정에서 추가 정보를 생성한다는 점이다. 이러한 관찰을 바탕으로 우리는 LLM이 자체적인 사고의 연쇄(Chain-of-Thought, CoT)에서 생성된 정보를 증류하고 내재화할 수 있도록 하는 자가 진화형 온라인 정책 증류(SeOPD)를 제안한다. 구체적으로 SeOPD는 (1) 심층 사고 모드로 CoT를 생성하고, (2) 비사고 모드로 응답을 생성하며, (3) 생성된 CoT를 PI로 활용하여 비사고 응답에 토큰 수준의 감독을 제공함으로써, 추론 중 도출된 새로운 정보가 비사고 모드를 안내하고 공유된 모델 파라미터로 내재화되도록 하여 비사고 및 심층 사고 역량을 모두 향상시킨다. 다양한 LLM과 과제에 걸친 광범위한 실험은 SeOPD의 효과를 입증한다.

arXiv:2610.02793v2cs.AI

PAPER2LLM++: 연구 논문을 통한 대규모 언어 모델(LLM)의 지속적 자기 진화

PAPER2LLM++: Continual Self-Evolution of LLMs from Research Papers

대규모 언어 모델(LLM)에 관한 연구는 모델의 한계점과 그 원인, 잠재적 해결책을 지속적으로 밝혀내고 있습니다. 그러나 이러한 인간의 발견은 모델의 진화와 대체로 단절되어 있으며, LLM은 자신의 실패 사례를 다룬 새로운 연구로부터 자동으로 학습하지 못합니다. 본 논문에서는 연구 논문을 기반으로 LLM이 지속적으로 자기 진화할 수 있도록 지원하는 프레임워크인 PAPER2LLM++를 소개합니다. PAPER2LLM++는 논문을 단순한 검색 대상 지식으로 취급하는 대신, 계속해서 늘어나는 문헌들을 모델 개선을 위한 증거이자 지도 신호(supervision)의 연속적인 흐름으로 활용합니다. 새로 유입되는 논문마다 근거 기반의 연구 결과를 추출하고, 보고된 한계점이 현재 모델에 여전히 존재하는지 테스트하며, 필요한 경우 이러한 발견을 후보 학습 신호로 변환합니다. 이후 '시도-평가-반영(try-evaluate-commit)' 절차를 통해 이전 개선 사항을 크게 잊거나 일반적인 성능을 저하시키지 않으면서 목표한 동작을 개선할 때에만 업데이트를 통합합니다. 연구를 통해 발견된 LLM 실패 사례들의 순차적 흐름 전반에 걸쳐, 모델이 이전의 성능 향상을 유지하면서 새로운 연구 결과를 점진적으로 통합할 수 있음을 보여줍니다. 따라서 PAPER2LLM++는 인간의 발견과 모델 진화 사이의 간극을 좁히는 한 걸음을 내딛으며, 모델이 자신의 한계와 개선 방안에 대한 연구로부터 지속적으로 학습할 수 있도록 합니다.

arXiv:2610.03548v1cs.AI

최첨단 추론 데이터 생성을 위한 재귀적 하네스 자기 개선

Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis

점진적으로 더 어려운 추론 문제를 생성하려면 태스크 분포가 진화함에 따라 적응하는 합성 절차가 필요합니다. 기존의 태스크 수준 재귀는 생성된 문제를 시드(seed)로 재사용하지만 구축 하네스(construction harness)는 변경하지 않고 그대로 유지합니다. 본 논문에서는 추론 데이터 합성에서 재귀적 하네스 자기 개선(recursive harness self-improvement, RSI)을 위한 프레임워크인 태스크-하네스 공진화(task-harness co-evolution)를 제안합니다. 온라인 자기 개선은 생성 과정 중 솔버(solver)의 중간 실패를 재사용 가능한 스킬로 변환합니다. 사후(post-task) 자기 개선은 각 배치 이후 스킬, 프롬프트, 워크플로를 수정하며, 제한된 비용 증가 범위 내에서 더 어렵고 유효한 태스크를 생성할 때만 후보를 채택합니다. 모델 가중치와 검증 기준은 고정된 상태로 유지됩니다. 수학, 코딩, 과학 전반에서 14회의 진화 라운드에 걸쳐 평균 솔버 정확도가 100.0%에서 54.8%로 감소합니다. 어블레이션 연구에 따르면 두 업데이트 일정을 결합할 경우 고정 하네스 재귀나 단일 일정만을 사용할 때보다 더 어려운 태스크가 생성됨을 보여줍니다. 이렇게 생성된 데이터는 다운스트림 SFT 및 GRPO 성능을 향상시킵니다. 특히 합성된 1만 개의 수학 예제로 파인튜닝(fine-tuning)된 27B 학생 모델은 APEX에서 62.5%의 mean-16 정확도를 달성하여 일부 최첨단(frontier) 참조 모델과 경쟁력 있는 성능을 보입니다. 이러한 결과는 다운스트림 학습 가치를 지닌 점점 더 도전적인 데이터를 생성하기 위해 태스크와 함께 합성 하네스를 적응시키는 방식을 뒷받침합니다.

arXiv:2609.27389v1cs.SD

EvoAudio: 오디오 이해를 위한 재귀적 자가 개선

EvoAudio: Recursive Self-Improvement for Audio Understanding

오디오 언어 모델은 어떻게 들리는지보다 무엇을 말하는지를 훨씬 더 잘 이해합니다. 이 간극을 좁히는 데는 단순한 데이터 이상의 것이 필요합니다. 상세한 음향 어노테이션은 비용이 많이 들고, 더 강력한 모델로부터 얻은 라벨은 해당 모델의 오류와 한계를 상속받으며, 고정된 데이터는 학습자가 개선됨에 따라 적응할 수 없습니다. 따라서 우리는 오디오 이해를 위한 재귀적 자가 개선(recursive self-improvement) 시스템인 EvoAudio를 제안합니다. 우리가 아는 한, 이는 모델, 파형(waveform), 질문, 난이도를 하나의 닫힌 루프(closed loop)에서 함께 진화시키는 최초의 시스템입니다. EvoAudio는 현재 모델의 성능을 활용하여 다음 학습 데이터의 초점과 난이도를 설정합니다. 그런 다음 오디오 툴 라이브러리가 오디오 제작 방식에 따라 답이 도출되는 질문을 구성하여, 새로운 인간 어노테이션 없이도 검증 가능한 감독(verifiable supervision)을 제공합니다. 강화학습(RL)이 모델을 업데이트하고, 검증을 통해 다음 진화 라운드로 진입할지 여부를 결정합니다. 13라운드에 걸쳐 EvoAudio는 MMSU, MMAU-Pro, MMAR에서 서로 다른 오디오 인코더와 언어 백본을 가진 5개 모델의 성능을 향상시킵니다. 모든 백본에 대해 가장 높은 평균을 달성하여 전반적인 성능을 최대 6.3점 끌어올립니다. 이러한 개선은 연속적인 라운드를 거치며 나타나며, 각각의 더 강력해진 모델이 다음 라운드를 시작합니다.

arXiv:2607.21461v2cs.AI

AREX: 심층 연구를 위한 재귀적 자기 개선 에이전트

AREX: Towards a Recursively Self-Improving Agent for Deep Research

심층 연구(deep research)는 에이전트가 여러 제약을 동시에 충족하는 답을 찾아야 한다. 이러한 답을 발견하는 것은 비용이 크지만, 후보를 검증하는 작업은 종종 처리 가능한 제약별 검사로 분해할 수 있다. 이러한 발견-검증 비대칭은 연구 에이전트가 단순히 더 오래 검색하는 것 이상을 해야 함을 시사한다. 중간 결과를 검증하고 부분적으로 검증된 상태를 이용해 이후 정제를 안내함으로써 현재 답을 재귀적으로 개선해야 한다. 우리는 재귀적 자기 개선(RSI) 심층 연구 에이전트 계열인 AREX를 제안한다. AREX는 증거를 수집하고 잠정적 답을 구성하는 내부 연구 루프와, 답을 제약별로 감사하고 미해결 주장을 식별하며 표적 후속 연구를 시작하는 외부 자기 개선 루프를 번갈아 수행한다. 긴 수평에 걸쳐 RSI를 유지하기 위해 AREX는 외부 모델에 의존하지 않고, 검증된 증거와 미해결 제약을 보존하는 압축된 개선 상태로 증가하는 상호작용 이력을 압축하는 자율적 컨텍스트 업데이트 도구를 학습한다. 우리는 에이전트 중간 학습(agentic mid-training)과 장기간 강화학습을 통해 검증된 합성 과제와 고품질 궤적(trajectory)으로 AREX를 학습한다. 장기간 학습 동안 희소한 최종 보상을 완화하기 위해, 결정적 증거가 확보되거나 잘못된 연구 방향이 수정되는 핵심 단계를 강조한다. 우리는 dense 4B 모델과 122B-A10B 전문가 혼합(MoE) 모델을 구현한다. BrowseComp, WideSearch, DeepSearchQA, Humanity's Last Exam(HLE) 및 기타 추론·도구 사용 벤치마크에서 AREX는 유사 규모 베이스라인을 크게 능가하며, 훨씬 더 많은 활성 파라미터를 사용하는 모델과도 경쟁력을 유지한다.

arXiv:2607.19592v1cs.AI

지식 중심 자기 개선

Knowledge-Centric Self-Improvement

자기 개선(self-improvement) AI 시스템은 일반적으로 프롬프트, 워크플로, 하네스(harness), 또는 에이전트 자체의 코드를 최적화함으로써 에이전트를 개선 대상으로 취급한다. 이러한 에이전트 중심(agent-centric) 관점은 이득이 특정 에이전트 설계, 작업 분포, 또는 적응(adaptation) 실행에 묶이기 때문에 개선을 유지하기 비용이 많이 들고 전이하기 어렵게 만들 수 있다. 우리는 상호 보완적인 패러다임인 지식 중심(knowledge-centric) 자기 개선을 연구한다. 이 패러다임에서는 에이전트는 범용적이고 일회용으로 유지되는 반면, 지속적인 객체는 에이전트가 향후 작업에 활용할 수 있는 큐레이션된 지식 베이스(knowledge base)이다. 우리는 간단한 프로토콜을 통해 이 아이디어를 구체화하기 위해 통제된 사례 연구를 수행한다. 에이전트는 하나의 작업을 시도한 다음, 작업 수준 및 교차 작업 포럼을 통해 공유 지식 베이스에 증거 기반(evidence-grounded) 통찰을 기여하고, 이어서 지식 증류를 수행한다. 자기 개선이 에이전트가 아닌 지식에 담겨 있기 때문에, 개선은 더 검사 가능하고, 전이 가능하며, 이식 가능할 수 있다. 추상적 추론, 코딩, 터미널 벤치마크 전반에 걸쳐, 이 프로토콜은 에이전트 중심 기준선(baseline) 대비 달러 비용을 줄이면서 해결률(solve rate)을 향상시킨다. 그 결과로 얻어진 증류된 지식은 또한 홀드아웃(held-out) 작업 및 대규모 언어 모델(LLM) 계열 간에도 전이되어, 개선이 단순히 특정 LLM이나 실행(run)에 국한된 행동이 아님을 시사한다. 이 결과는 자기 개선 에이전트(agentic) 시스템에 대한 새로운 관점을 뒷받침한다: 진보는 주로 큐레이션된 지속적 지식에 의해 추동될 수 있다. 코드는 https://github.com/recursive-knowledge/KSI 에서 이용할 수 있다.

arXiv:2607.12254v2cs.CV

개인적 특이점(Personal Singularity)을 위한 자기 인식 재귀적 자기 개선 에이전트: 목표, 범위, 도구, 벤치마크 기반 다중 에이전트 아키텍처

Self-Aware Recursively Self-Improving Agents for Personal Singularity: A Goal-, Scope-, Tool-, and Benchmark-Driven Multi-Agent Architecture

대규모 언어 모델(LLM) 에이전트는 계획을 수립하고, 도구를 사용하며, 메모리를 유지하고, 장기 지평(long-horizon) 과제를 실행할 수 있다. 본 논문은 자기 인식 재귀적 자기 개선(Self-Aware Recursively Self-Improving, SARSI) 에이전트를 제안한다. 이는 정체성, 목표, 역량, 한계, 불확실성, 관계, 이력, 발달적 변화에 대한 지속적인 자기 모델(self-model)을 유지하고, 그 모델을 사용하여 재귀적 개선을 안내하고 평가하는 거버넌스가 적용된 에이전트이다. 자기 인식(self-awareness)은 기능적으로 정의되며, 주관적 경험이나 현상적 의식(phenomenal consciousness)을 함의하지 않는다. SARSI 에이전트를 개인적 특이점(personal singularity)과 결합한다. 이는 에이전트 생태계가 사용자가 확장되는 사용자 정의 실현 가능 역량 프론티어(feasible capability frontier)에 접근하도록 돕는, 경계가 설정된 인간-AI 공동 개발 목표이다. 각 에이전트는 목표 계약(goal contract), 경계가 설정된 범위(scope), 검증된 도구 레지스트리, 도구 테스트, 종단 간(end-to-end) 벤치마크, 소유자 통제 자율성, 라우팅, 메모리, 자기 모델, 개선 정책을 갖는다. 범위 라우터(scope router)는 수락된 모든 과제를 하나의 책임 있는 주(primary) 에이전트에 할당하고, 범위 밖 작업을 구조화된 핸드오프(handoff)를 통해 이관한다. 사용자 대면 Auto-Index는 외부 권한을 재정의하지 않고 대화형, 하이브리드, 자율, 또는 예약된 동작을 선택한다. 아키텍처는 계획-실행-검증 루프, 증거 게이트가 적용된 개선 루프, 외부 거버넌스 평면(governance plane), 분산 계보(lineages), 소유자 지향 에이전트 파운드리(foundry), 그리고 작업, 계산 영상(computational-imaging), 업무 프로세스 학습, 개인 학습 에이전트를 조율하는 Personal Singularity OS를 결합한다. 기능적 자기 인식, 범위, 라우팅, 개선 수용, 경계가 설정된 목표 진화, 도구 우선 실행, 인간 역량 이전(human capability transfer)을 형식화하고, 안전성 불변식(invariants), 벤치마크 설계, 단계적 구현 로드맵을 제공한다. 이는 입장(position) 및 시스템 설계 논문이며, 의식, 무제한 재귀적 자기 개선, 또는 개인적 특이점이 달성되었다는 증거가 아니다.

arXiv:2607.13104v1cs.AI

현대 에이전트 시스템에서의 자기 개선: 서베이

Self-Improvements in Modern Agentic Systems: A Survey

자기 개선형 자율 에이전트는 연구 프로토타입에서 배포 시스템으로 확산되고 있다. 핵심 목표는 최소한의, 심지어 인간 개입 없이 경험으로부터 통제 가능한 진화 또는 적응을 이루는 것이다. 본 서베이는 현대 자기 개선 에이전트를 경험을 누적된 역량 향상으로 전환하는 적응형 시스템으로 조망한다. 우리는 현대 에이전트를 기반 모델과 프롬프트, 메모리, 도구, 제어 로직으로 구성된 운영 스캐폴드를 결합한 설정으로 표현하는 시스템 수준의 프레임워크를 제시한다. 이 프레임워크 내에서 자기 개선은 모델 파라미터 또는 스캐폴드 구성 요소에 대한 갱신을 획득하고 반영하는 자기 유도 업데이트 연산자로 정식화된다. 선행 연구를 갱신 대상과 변화를 유도하는 신호에 따라 체계화하고, 응용을 검토하며 평가를 논의한 뒤, 미해결 과제와 향후 연구 방향으로 마무리한다. 편의를 위해 기술적 업데이트는 https://github.com/selfimproving-agent/awesome-Self-Improving-Agents 에서 추적한다.