PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27277v1cs.AI

TimeEvo: 실패 주도 시계열 에이전트의 자기 진화

TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent

시계열 에이전트는 외부 도구를 호출해 분석 질문에 답하며, 어떤 도구를 갖출지는 에이전트 실행 전에 사람이 정한다. 그러나 이 설정에서 우리는 두 가지 실패를 확인한다. 인간-에이전트 도구 불일치(Human-Agent Tool Misalignment): 전문가가 큐레이션한 21개 도구 라이브러리는 일부 작업에서는 도움이 되지만 다른 작업에서는 해를 끼쳐, 우리가 시험한 모든 백본에서 이상 탐지 정확도를 떨어뜨린다. 조용한 해(Silent Harm): 한 차례의 일반적인 자기 수정은 147개의 답을 바꾸고 그중 56개를 망가뜨리지만, 최종 점수는 1점 미만만 변한다. 둘 다 같은 간극에서 비롯된다. 도구가 도움이 되는지는 실행 시 질문마다 결정되는데, 도구는 사전에 제공되고 단일 평균으로만 평가된다는 점이다. 이를 해결하기 위해 우리는 TimeEvo를 제안한다. TimeEvo는 에이전트의 진단된 실패를 역량 격차로 클러스터링하고, 각각에 대한 측정을 계획하며, 이를 메우는 증거 전용(evidence-only) 도구를 합성하고, 후보 라이브러리는 paired admission gate를 통해서만 승인한다. 10개의 시계열 QA 작업과 3개의 백본에 대한 실험은, 빈 라이브러리에서 시작하는 TimeEvo가 모든 작업과 모든 백본에서 정확도를 높이며, 저렴한 모델에서 성장한 라이브러리를 더 강한 모델에 설치해도 여전히 이득이 있다는 것을 보여준다. 코드는 https://github.com/Muyiiiii/TimeEvo 에서 이용할 수 있다.

arXiv:2607.21971v2cs.LG

LLM에게 자기 진화를 가르치기: 강화학습으로 핵심 메타 스킬 함양

Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning

AlphaEvolve에서 보여주듯, 환경 피드백을 활용한 반복적 자기 진화를 통한 테스트 시점 스케일링(test-time scaling)은 놀라운 성능 향상을 보인다. 우리는 이러한 진화 프레임워크의 성공이 환경 피드백을 통한 자기 성찰(self-reflection)과 같은 메타 스킬(meta-skills)에 달려 있으며, 이는 효과적인 다중 라운드 정제를 가능하게 하지만 기존 사후 학습에서는 대체로 간과된다고 가정한다. 이 격차를 메우기 위해 데이터 합성 파이프라인, 진화 인식(evolution-aware) 강화학습, 그리고 추론 시점 진화 탐색을 통해 이러한 메타 스킬을 개발하도록 설계된 MetaEvolve 프레임워크를 제안한다. 구체적으로 MetaEvolve를 코딩에 그라운딩(grounding)하였으며, 여기서 프로그램 실행은 이진 정확성을 넘어 자연스럽고 연속적인 보상 신호를 제공한다. 이러한 신호를 바탕으로 각각 현재 프로그램, 적합도 점수(정확성과 효율성의 결합), 그리고 이전 시도 기록을 포함하는 진화 궤적을 학습 데이터로 합성하고, 테스트 케이스 실행에서 도출된 검증 가능한 보상으로 강화학습을 통해 모델을 학습한다. 대규모 코드 데이터로 학습함으로써, 풍부한 학습 신호가 부족한 개방형(open-ended) 문제에 광범위하게 전이할 수 있는 일반화 가능한 도메인 무관(domain-agnostic) 메타 스킬을 기대한다. 7개의 코딩 벤치마크에서 MetaEvolve는 분포 내(in-distribution) 과제에서 가장 강력한 기준선을 절대 10.01%p 초과하고, 분포 외(out-of-distribution) 과제에서는 24.12%p 초과한다. 학습 도메인을 완전히 벗어난 개방형 알고리즘 최적화 문제에서도 46.9%의 상대적 향상을 달성한다. 이러한 결과는 자기 진화 메타 스킬을 명시적으로 함양하는 것이 더 유능하고 자율적으로 자기 진화하는 AI를 향한 원칙적인 경로를 제공함을 보여준다.

arXiv:2606.09052v4cs.LG

INFUSER: 영향도 기반 자기 진화가 추론을 향상시킨다

INFUSER: Influence-Guided Self-Evolution Improves Reasoning

자기 진화(self-evolution)는 더 강한 추론으로 가는 확장 가능한 경로를 제공한다. 사전학습된 언어 모델이 최소한의 외부 감독만으로 스스로를 개선하는 방식이다. 그러나 기존 방법들은 광범위하게 큐레이션되거나 교사가 생성한 학습 데이터에 의존하거나, 생성기가 비지도로 동작할 때는 Solver를 실제로 개선하지 않을 수도 있는 난이도 휴리스틱으로 보상한다. 우리는 INFUSER를 제안한다. 이는 두 가지 공진화하는 역할을 갖는 반복적 공동 학습(co-training) 프레임워크로, 구조화되지 않은 자동 수집 문서 풀에서 질문과 참조 golden 답변을 작성하는 Generator와 이를 통해 학습하며 개선되는 Solver로 구성된다. Solver는 생성기가 제공한 답변에 대한 표준 정확성 보상으로 학습되고, 생성기는 각 제안된 질문이 목표 분포에서 Solver를 실제로 개선할지를 측정하는 옵티마이저 인식 영향도(influence) 점수로 보상된다. 이 연속적이고 노이즈가 많은 영향도 점수는 표준 GRPO로는 잘 다루기 어렵기 때문에, 생성기 학습을 위해 GRPO의 이중 정규화(dual-normalized) 변형인 DuGRPO를 제안한다. 이를 통해 문서 풀은 단순히 어려운 질문이 아니라 현재 Solver에 유용한 질문을 선호하는 적응형 커리큘럼으로 전환된다. Qwen3-8B-Base에서 INFUSER는 강력한 자기 진화 기준선들을 능가하며 Olympiad 및 SuperGPQA 벤치마크에서 20% 이상의 상대적 개선을 달성한다. 또한 8B INFUSER의 공진화 생성기는 수학과 코딩에서 고정된 32B thinking 생성기를 능가한다. Ablation은 각 설계 선택이 필수적임을 확인했으며, 인스트럭션 파인튜닝(instruction-finetuned) 앵커에 INFUSER를 적용하고 rule-verifiable RLVR 데이터로 보강하는 두 가지 확장은 프레임워크의 유연성과 일반화 가능성을 추가로 보여준다. 코드는 https://github.com/FFishy-git/INFUSER 에서 이용할 수 있다.

arXiv:2601.09515v3cs.CL

SERM: 대규모 쿼리 스트림의 에이전트 주도 학습을 통한 자기 진화형 관련성 모델

SERM: Self-Evolving Relevance Model with Agent-Driven Learning from Massive Query Streams

실세계 쿼리 스트림의 동적으로 진화하는 특성으로 인해 관련성 모델은 실용적인 검색 시나리오에 일반화하는 데 어려움을 겪는다. 정교한 해결책은 자기 진화(self-evolution) 기법이다. 그러나 대규모 쿼리 스트림을 다루는 대규모 산업 환경에서는 이 기법이 두 가지 과제에 직면한다: (1) 정보가 풍부한(informative) 샘플이 종종 희소하고 식별하기 어렵고, (2) 현재 모델이 생성한 의사 라벨(pseudo-label)이 신뢰할 수 없을 수 있다. 이러한 과제를 해결하기 위해 본 연구에서는 두 가지 상호 보완적인 다중 에이전트 모듈로 구성된 자기 진화형 관련성 모델(Self-Evolving Relevance Model, SERM) 접근법을 제안한다: 분포 이동(distributional shift)을 감지하고 정보가 풍부한 학습 샘플을 식별하도록 설계된 다중 에이전트 샘플 마이너(multi-agent sample miner), 그리고 2단계 합의 프레임워크(two-level agreement framework)를 통해 신뢰할 수 있는 라벨을 제공하는 다중 에이전트 관련성 주석기(multi-agent relevance annotator). 우리는 SERM을 매일 수십억 건의 사용자 요청을 처리하는 대규모 산업 환경에서 평가한다. 실험 결과는 광범위한 오프라인 다국어 평가와 온라인 테스트를 통해 검증된 바와 같이, SERM이 반복적 자기 진화를 통해 상당한 성능 향상을 달성할 수 있음을 보여준다.

arXiv:2606.27373v1cs.CV

자기 진화형 대규모 멀티모달 모델에서 시각 토큰에 더 많은 어텐션을

Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

기존 자기 진화 LMM은 답변 일치만 최적화해 디코더가 시각 토큰보다 언어 사전분포에 의존하는 시각적 언더컨디셔닝 문제가 있다. VISE는 기하·의미 불변성 보상으로 시각 조건화를 직접 정규화하는 비지도 자기 진화 프레임워크로, Qwen3-VL-2B 기준 COCO·TextCaps CIDEr가 각각 +16.85·+19.66 향상되고 Chair-I 객체 환각이 5.0포인트 감소했다.

arXiv:2606.20622v1cs.AI

Darwin Mobile Agent: 자기 진화를 위한 로드맵

Darwin Mobile Agent: A Roadmap for Self-Evolution

인공지능의 목표는 개방형 환경에서 일반적이고 적응적인 행동이 가능한 에이전트를 만드는 것이다. "Bitter Lesson"에 기초하여, 우리는 이 목표를 향한 가장 효과적인 경로가 인간의 사전 지식(prior)을 체계적으로 제거하고, 에이전트 자체보다 수 orders of magnitude 더 복잡한 "Big World"와의 상호작용을 통해 지능이 자연스럽게 창발하도록 하는 것임을 주장한다. 우리는 이러한 세계의 실용적 대리(proxy)로 모바일 그래픽 사용자 인터페이스(GUI)를 제안하고, 이 영역에서 자율 강화학습의 기반으로 설계된 오픈소스 인프라인 Darwin Mobile Agent를 소개한다. 이 프레임워크는 병렬 클라우드 폰 인스턴스 전반에 걸친 비동기 에이전트-환경 루프를 사용하여 실제 모바일 상호작용에서의 데이터 수집 병목을 해결한다. 또한 자기 진화 에이전트의 세 가지 근본적 기둥—과제 커리큘럼(task curricula), 결과 검증(outcome verification), 메모리 관리(memory management)—에서 인간의 사전 지식을 체계적으로 제거하기 위한 개념적 로드맵을 제안한다. 우리는 Darwin 인프라가 이 로드맵의 첫 단계, 즉 GUI 영역에서의 정책 최적화(policy optimisation)에 필요한 안정성과 확장성을 제공함을 검증한다. 본 연구는 진정으로 자율적이고 자기 진화하는 GUI 에이전트를 향해 나아가는 데 필요한 실용적·이론적 기반을 마련한다.

arXiv:2606.20475v1cs.LG

메모리 기반 에이전트 자가 진화를 위한 한계 이점 누적

Marginal Advantage Accumulation for Memory-Driven Agent Self-Evolution

배치 방식 트레이스 증류에서, 동일한 메모리 연산이 서로 다른 배치에서 상충되는 피드백을 받을 수 있습니다. 기존 방법들은 배치 간 연산 수준의 증거 누적 메커니즘이 부족하여, 안정적으로 효과적인 연산과 우연한 적중을 구별하는 것이 불가능합니다. 본 논문은 이 요구 사항을 정렬 가능성(alignability)과 비교 가능성(comparability)이라는 두 가지 구조적 조건으로 공식화하고, 한계 이점 누적(MAA)을 제안합니다. MAA는 배치 간 비교가 가능하도록 차분 신호를 구성하고, EMA를 통해 연산별 부호가 있는 증거를 누적하며, 의미적 동일성 병합을 통해 배치 간 추적 가능성을 보장합니다. 후처리 아키텍처인 MAA는 4개의 벤치마크와 4개의 타겟 모델에 걸친 16가지 설정 중 14가지에서 최고의 결과를 달성했으며, 최적화 단계 토큰 소비량을 약 75% 줄이면서 기존 배치 수준 증류 베이스라인을 일관되게 능가하고 대부분의 설정에서 온라인 대안들과 동등하거나 그 이상의 성능을 보였습니다.

arXiv:2606.06741v1cs.AI

OpenSkill: 대규모 언어 모델(LLM) 에이전트를 위한 오픈 월드 자가 진화

OpenSkill: Open-World Self-Evolution for LLM Agents

자가 진화 에이전트(self-evolving agents)는 배포 후 적응이 필요하지만, 기존 접근 방식은 선별된 스킬(curated skills), 성공적인 궤적(successful trajectories), 또는 검증기 신호(verifier signals)와 같은 사용 가능한 학습 루프를 가정합니다. 실제 오픈 월드 배포 환경에서는 이러한 요소들이 전혀 제공되지 않을 수 있으며, 오직 작업 프롬프트(task prompt)만 주어질 수 있습니다. 본 연구에서는 오픈 월드 자가 진화(open-world self-evolution)를 다룹니다. 이는 에이전트가 타겟 작업에 대한 감독 없이 오픈 월드 자원만을 활용하여 자신의 스킬과 검증 신호를 처음부터 구축해야 하는 상황입니다. 우리는 이 루프를 부트스트랩하는 OpenSkill 프레임워크를 제안합니다. OpenSkill은 문서, 저장소, 웹에서 그라운딩된 지식(grounded knowledge)과 검증 앵커(verification anchors)를 획득하여 이를 전이 가능한 스킬로 종합하고, 타겟 정답이 아닌 앵커에 기반한 자가 구축 가상 작업을 통해 해당 스킬을 정제합니다. 따라서 오픈 월드는 학습 대상 지식과 감독이 필요 없는 연습 환경을 모두 제공하며, 타겟 작업에 대한 감독은 최종 평가에만 사용됩니다. 세 가지 벤치마크와 두 가지 타겟 에이전트에 걸쳐, OpenSkill은 무감독 제약 조건을 충족하면서 최고의 자동화 통과율을 달성했습니다. 분석 결과에 따르면, OpenSkill의 스킬은 모델별 적응 없이 모델 간에 전이 가능하며, 자가 구축된 검증기는 실제 결과(ground-truth outcomes)에 접근한 적이 없음에도 불구하고 이와 정렬되는 것으로 나타났습니다.

arXiv:2606.07412v1cs.SE

Socratic-SWE: 트레이스 기반 에이전트 스킬을 통한 자기 진화 코딩 에이전트

Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills

대규모 언어 모델(LLM) 기반 소프트웨어 공학 에이전트는 실세계 언어 모델 역량을 평가하는 핵심 테스트베드가 되었지만, 고품질 소프트웨어 공학(SWE) 태스크의 가용성 부족으로 인해 학습이 제한되고 있다. 기존의 합성 데이터 방법은 대체로 고정된 변이(mutation) 또는 버그 주입 절차를 통해 태스크를 생성하기 때문에, 결과 분포가 에이전트 자체의 약점이나 학습 진행 상황과 무관한 경우가 많다. 본 논문에서는 에이전트의 과거 문제 해결 트레이스를 학습 신호의 원천으로 재활용하는 폐쇄 루프 자기 진화 프레임워크인 Socratic-SWE를 소개한다. Socratic-SWE는 트레이스를 보상 계산의 근거로만 활용하는 데 그치지 않고, 반복적으로 나타나는 실패 패턴과 효과적인 수정 패턴을 요약하는 구조화된 에이전트 스킬로 증류한다. 이러한 스킬은 실제 저장소에서 목표 지향적인 수정 태스크 생성을 유도한다. 후보 태스크는 실행 기반 검증을 통해 확인되고, 솔버-그래디언트 정렬 보상으로 점수가 매겨지므로 선별된 태스크는 검증 가능하면서도 Solver 개선에 유용하다. 업데이트된 Solver는 새로운 트레이스를 생성하여 태스크 커리큘럼이 연속적인 라운드에 걸쳐 적응할 수 있도록 한다. SWE-bench Verified, SWE-bench Lite, SWE-bench Pro, Terminal-Bench 2.0 전반에 걸쳐 Socratic-SWE는 동일한 컴퓨팅 예산 하에서 자기 진화 베이스라인을 일관되게 능가하며, 세 번의 반복 후 SWE-bench Verified에서 50.40%를 달성하였다. 이러한 결과는 문제 해결 트레이스가 자기 진화 SWE 에이전트를 위한 확장 가능한 기반으로 활용될 수 있음을 시사한다.