arXiv:2610.15964v1 cs.AI

작지만 강력하게: 자기 진화 에이전트를 위한 개선 신호로서의 테스트 스위트

Small but Mighty: Test Suites as Improvement Signals for Self-Evolving Agents

Yutong Cheng, Wei Cheng, Wenchao Yu, Dawei Zhou, Haifeng Chen

제출 2026-10-11

저자 비고

arXiv Comments

In NeurIPS 2026 Workshop on Self-Evolving Diversity-Driven Search for Robust AI Systems (EvoRobust)

한국어 초록

자기 진화 에이전트(self-evolving agent)는 자신의 하네스(harness)를 재작성하며 어떤 재작성본을 유지할지 결정해야 하므로, 에이전트의 개선 신호는 재작성본이 통과해야 하는 검증이 됩니다. 에이전트 롤아웃(rollout)으로 재작성을 검증하는 것은 비용이 많이 들고 주관적인 반면, 저장소 자체의 테스트와 같은 실행 가능한 검증은 동작을 변화시키는 재작성을 포착하기에는 너무 희소하여 그중 4분의 1만을 거부합니다. 우리는 그 대신 테스트 피드백을 실행 가능한 신호로 삼고, 신호가 조밀하고 유익할 수 있도록 품질-다양성(quality-diversity) 진화 알고리즘을 통해 작으면서도 강력한 테스트 스위트(test suite)를 탐색합니다. TeSearch는 스위트 크기를 행동 기술자(behavior descriptor)로 취급하여 모든 크기에서 품질을 추구하고 작고 강력한 스위트에 도달할 수 있도록 하며, 해당 기술자에 대한 액추에이터로서 대규모 언어 모델(LLM)의 노이즈를 제거하는 전이 커널(transition kernel)을 탐색 과정에서 학습합니다. 129개의 실제 모듈과 세 가지 백본에 걸쳐, TeSearch는 LLM 기반 진화 탐색을 포함해 비교된 모든 방법 중 가장 높은 품질의 스위트를 제공하며, LLM 기반 방법 중 가장 작은 크기를 달성합니다. 자기 진화 에이전트의 개선 신호로 사용되었을 때, 이는 4.0%의 오경보율(false-alarm rate)과 결정당 3.5초의 속도로 동작을 변화시키는 재작성의 59.9%를 거부하여 저장소 자체 테스트의 25.3%와 대비를 이룹니다. 코드와 데이터는 https://github.com/ccsnow127/TeSearch 에서 확인할 수 있습니다.

원문 초록

A self-evolving agent rewrites its own harness and must decide which rewrites to keep, so its improvement signal is the check a rewrite has to pass. Verifying a rewrite by agent rollout is expensive and subjective, while executable checks such as the repository's own tests are too sparse to catch behavior-changing rewrites, rejecting only a quarter of them. We instead take test feedback as the executable signal, and search for test suites that are both small and strong with a quality-diversity evolutionary algorithm, so that the signal is dense and informative. TeSearch treats suite size as a behavior descriptor, so that quality is pursued at every size and a small, strong suite is reachable, and learns a transition kernel during the search that denoises the LLM as an actuator on that descriptor. Across 129 real-world modules and three backbones, TeSearch delivers the highest-quality suites of any method compared, LLM-driven evolutionary search included, and the smallest of any LLM-based one. Used as the improvement signal of a self-evolving agent, it rejects 59.9% of behavior-changing rewrites against 25.3% for the repository's tests, at a 4.0% false-alarm rate and 3.5 s per decision. The code and data are available at https://github.com/ccsnow127/TeSearch.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15964v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14408v1cs.AI공통 태그 Evolutionary Algorithms, Code Generation, self-evolving agents

쌍대 검증자를 통한 보상 없는 진화 에이전트

Reward-Free Evolving Agents via Pairwise Validator

자기 진화(self-evolving) 에이전트 루프는 에이전트(프롬프트 템플릿 또는 프로그램)의 수정된 버전을 반복적으로 제안하고, 반복(iteration)마다의 품질 신호에 따라 변경을 수락하거나 거부한다. 이 신호를 설계하는 것이 프로젝트에서 종종 비용이 큰 부분이다. 신뢰할 수 있는 스칼라 보상은 도메인 전문성과 라벨이 달린 예시가 필요하며, 이 예시들을 구축하는 비용 자체가 에이전트의 기본 과제만큼 비싸다. 우리는 수락/거부 게이트의 스칼라를 쌍대 검증자(pairwise validator)로 대체할 것을 제안한다. 쌍대 검증자는 고정된(frozen) LLM으로, 부모 후보와 자식 후보가 주어지면 어느 쪽이 더 나은지에 대한 이진 판정을 반환한다. 쌍대 판단은 대조적(contrastive) 특성 때문에 절대 점수화보다 일반적으로 더 쉽고 안정적이며, 엄격한 스케일 보정(calibration)의 필요성을 완화한다. 검증자 또한 별도의 학습(training)이 필요하지 않다. 우리는 검증자를 세 가지 공개된 자기 진화 엔진(GEPA, ADRS, ShinkaEvolve)에 통합하고 두 가지 변형을 보고한다. Adaptive Focus는 엔진의 기존 검증 집합(val-set) 부모 선택을 유지하고, Soft Elo는 검증자의 판정이 부모 선택을 주도하게 하여 검증 집합 보상도 제거한다. 여러 에이전트와 두 가지 산출물 기판(프롬프트와 코드)에 걸쳐, 우리 방법은 평가한 설정의 대부분에서 전체 보상(full-reward) 기준선(baseline)과 동등하거나 이를 초과하며, 이 패턴은 교차 계열(cross-family) 검증자 교체에도 유지된다. 따라서 쌍대 게이트는 라벨링 비용 없이 경쟁력 있는 과제 정확도에서 단계별 보상 설계를 대체할 수 있는 즉시 교체형(drop-in replacement) 솔루션이다.

arXiv:2610.13811v1cs.LG공통 태그 Code Generation, test generation

QTestBench: LLM 생성 양자 코드 평가를 위한 테스트 프레임워크

QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code

대규모 언어 모델(LLM)은 고전적인 코드 생성에서 우수한 결과를 보여주었으며, 해당 코드를 보호하는 단위 테스트를 작성하는 데에도 점점 더 많이 활용되고 있습니다. 그러나 양자 소프트웨어에 대해서도 동일한 역할을 수행할 수 있는지는 명확하지 않습니다. 양자 프로그램은 확률론적이고, 수치적 허용 오차에 의존하며, 도메인 특화 검사기(checker)를 통해 판단되기 때문에 잘 구성된 테스트라 할지라도 벤치마크의 판정과 불일치할 수 있기 때문입니다. 기존의 양자 벤치마크는 모델이 올바른 솔루션을 생성하는지 여부만 측정할 뿐, 모델이 생성한 테스트가 올바른 구현과 결함이 있는 구현을 구별할 수 있는지는 측정하지 못합니다. 본 논문에서는 LLM이 생성한 양자 테스트 스위트를 독립적인 벤치마크 검사기와 비교 평가하며, 테스트 자체를 결코 정답(ground truth)으로 간주하지 않는 프레임워크인 QTestBench를 소개합니다. 각 태스크에 대해 QTestBench는 모델이 구문적, 의미적, 동작적 테스트를 생성하도록 프롬프트를 제공하고, 런타임에 후보 솔루션을 주입하며, 각각 별개의 진단 질문에 답하는 세 가지 검증(validation) 코호트 하에서 각 테스트 판정과 검사기의 레이블을 비교합니다. 저자들은 8개의 PennyLane QHack 챌린지와 10개의 Qiskit HumanEval 태스크에서 5개의 LLM을 벤치마크합니다. 생성된 스위트는 거의 항상 실행되지만 변별력은 이에 미치지 못합니다. 가장 우수한 생성 모델도 QHack에서 0.71, Qiskit HumanEval에서 0.34의 테스트 품질에 도달하므로, 실행 가능성만으로는 테스트 품질이 과대평가됩니다. 오라클로 검증된 합성 뮤턴트는 결함이 전혀 발생하지 않은 10개 중 3개의 Qiskit 태스크처럼 자연적인 결함 솔루션이 희소할 때 버그 감지 추정치를 안정화합니다. QTestBench는 LLM이 생성한 양자 테스트의 신뢰성을 평가하기 위한 재현 가능하고 프레임워크 간 비교가 가능한 벤치마크를 제공합니다.

arXiv:2609.27242v1cs.NE공통 태그 Evolutionary Algorithms, Code Generation

ARC-AGI-2를 위한 LLM과 유전 탐색의 결합

Combining LLMs and Genetic Search for ARC-AGI-2

LLM은 ARC-AGI-2 과제를 위한 프로그램을 생성할 수 있지만, 주어진 연산 자원으로는 해결책을 생성하고 디버깅하고 검증하는 시도를 소수만 할 수 있다. 유전 알고리즘(genetic algorithm)은 훨씬 더 많은 프로그램을 탐색하고 테스트할 수 있지만, 무작위 탐색은 해 공간에서 유용한 이웃 영역에서 시작하는 경우가 드물다. 우리는 간결한 도메인 특화 언어(DSL)를 통해 이 두 방법을 결합한다. 먼저, 양자화된 Qwen3.5-4B LLM이 각 ARC-AGI-2 과제에 대한 초기 프로그램 집합을 생성한다. 그런 다음 이 프로그램들을 시작 프로그램의 초기 집단(population)을 구성하는 시드로 사용하고, 유전 알고리즘을 이용해 이 프로그램들이 주어진 과제의 해에 가까워지도록 진화시킨다. DSL은 변이(mutation)된 모든 프로그램이 유효하고 실행 가능하도록 설계되었다. LLM이 제안한 초기 프로그램은 ARC-2 공개 평가 세트의 처음 60개 과제 중 2개(3.3%)를 해결한다. 유전 알고리즘은 추가로 4개를 해결하여, 정답 테스트 출력이 총 6개(10.0%)가 된다. 이러한 LLM 시딩 없이 진화하는 해를 사용해 보면, 어떠한 해에도 도달하지 못한다. 이 결과는 유전 탐색이 LLM이 생성한 프로그램을 개선하고 추가적인 정답을 만들어 낼 수 있음을 보여 준다.

arXiv:2609.28130v1cs.SE공통 태그 Evolutionary Algorithms, test generation

시나리오 기반 신경진화: 모델을 활용한 게임 테스트 생성 안내

Scenario-Driven Neuroevolution: Using Models to Guide Test Generation for Games

게임용 테스트 입력을 자동으로 생성하는 일은 쉽지 않다. 테스트 생성기는 고급 프로그램 상태에 도달하기 위해 게임을 숙달해야 할 뿐만 아니라, 게임에 내재된 강한 프로그램 무작위성에 대해서도 견고함을 보장해야 하기 때문이다. 이에 테스트 생성기 Neatest는 고급 프로그램 상태에 도달하면서 프로그램 무작위성에 견고한 신경망(neural network)으로 구성된 테스트 스위트를 최적화하며, 이 신경망들은 현재 프로그램 상태에 따라 테스트 입력을 동적으로 생성한다. Neatest는 신경진화(neuroevolution)를 사용하여 아직 커버되지 않은 코드의 각 구문(statement) 또는 분기(branch)마다 네트워크 에이전트를 생성하는 것을 목표로 하는 화이트박스 테스트 접근법이다. 이러한 반복적인 테스트 생성 방식 때문에, 이 알고리즘은 수천 개의 분기를 포함할 수 있는 더 큰 프로그램으로는 잘 확장되지 않는다. 더욱이 게임의 모든 구문이나 분기를 커버하는 것이 의도된 방식대로 게임을 플레이하는 것과 일치하지 않는 경우가 많다. 이러한 단점을 완화하기 위해, 본 논문은 Neatest를 모델 기반 테스트(model-based testing) 접근법과 결합하여 게임 테스터가 추상 게임 모델을 통해 테스트 시나리오를 정의할 수 있도록 하는 방안을 제안한다. 그러면 테스트 생성기는 더 이상 프로그램의 모든 분기나 구문에 도달하도록 네트워크를 최적화하지 않고, 대신 추상 게임 모델이 표현하는 구체적인 목표 테스트 행동을 재현하도록 네트워크를 학습시킨다. 다양한 장르의 Scratch 게임 13개에 대한 평가 결과, 모델 기반 테스트와 결합한 Neatest는 게임 모델에 정의된 목표 게임플레이 행동을 재현하는 에이전트를 최적화할 수 있으며, 동시에 기존의 코드 기반 Neatest 접근법 대비 달성한 분기 커버리지를 7% 높이는 것으로 나타났다.

arXiv:2609.27337v1eess.SY공통 태그 Evolutionary Algorithms, Code Generation

LLM으로 진화하는 검사 가능한 O-RAN 슬라이싱 xApp

Evolving Inspectable O-RAN Slicing xApps with LLMs

오픈 RAN(O-RAN) 슬라이싱 xApp은 채널 조건과 트래픽 수요 변화에 맞춰 자원 할당을 조정하면서 서비스 수준 협약(SLA)을 충족해야 한다. 심층 강화학습은 적응형 정책을 만들 수 있지만, 할당 규칙은 신경망 파라미터에 인코딩된 채로 남는다. 우리의 목표는 이러한 적응성을 유지하면서 컨트롤러의 의사결정 논리를 운영자가 직접 검사하고 편집할 수 있게 하는 것이다. 우리는 대규모 언어 모델(LLM)을 사용해 슬라이싱 컨트롤러를 최적화 이후에도 의사결정 논리가 읽기 쉽고 편집 가능한 컴팩트한 Python 프로그램으로 진화시킨다. LLM은 오프라인으로 후보를 제안하고 수정하며, 보정된 시뮬레이터가 이를 채점하고, 선택된 의사결정 모듈은 O-RAN 제어 경로에서 변경 없이 실행된다. NSF POWDER 5G 테스트베드에서, 진화된 컨트롤러는 지속적인 채널 페이드 하에서 처리량 목표 달성이 불가능해진 보장 슬라이스(guaranteed slice)에서 자원을 해제하여, best-effort 처리량을 158.2 Mbps에서 228.6 Mbps로 개선했으며, 이는 최상의 정적 할당 대비 44.5% 향상이다. 컨트롤러가 읽을 수 있는 소스 코드이므로, 방정식으로부터 동작을 예측할 수 있고, 코드를 읽어 결함을 진단할 수 있으며, 한 줄 편집으로 보정 오류를 수정할 수 있다. 한 사례에서는 SLA 미달을 79.9%에서 2.2%로 줄였고, 다른 사례에서는 적합도(fitness)를 두 배 이상 높였다. 동일 테스트베드에 보정된 4-슬라이스 trace 기반 시뮬레이션에서, 진화적 탐색은 동일한 제안 예산에서 독립적 프롬프팅보다 더 높은 평균 평가 점수를 달성했으며, held-out trace에서의 평균 정규화 이득은 프롬프팅만 16.3%, 처음부터의 진화 32.1%, 시작 프로그램으로부터의 진화 51.0%였다.

arXiv:2609.25325v1cs.NE공통 태그 Evolutionary Algorithms, Code Generation

대규모 언어 모델을 활용한 온라인 자동 알고리즘 설계

Online Automated Algorithm Design with Large Language Models

대규모 언어 모델(LLM)은 추론과 코드 합성을 통해 자동 알고리즘 설계(AAD)를 가능하게 한다. 그러나 기존의 LLM 기반 AAD 방법 대부분은 알고리즘 설계와 대상 최적화를 분리하여, 최적화 상태가 변화하는 동안에도 고정된 설계를 그대로 배포한다. 기존의 적응형 옵티마이저는 이러한 변화에 대응할 수 있지만, 그 조정은 사전에 정의된 파라미터, 연산자 또는 전략의 범위에 국한된다. 이러한 한계를 해결하기 위해, 본 논문은 알고리즘 자체를 상태 의존적 결정 변수로 취급하는 새로운 최적화 패러다임인 온라인 LLM 기반 AAD를 제안한다. 각 단계에서 LLM 에이전트는 현재의 최적화 상태로부터 새로운 동작 로직을 갖춘 알고리즘을 합성한다. 생성된 알고리즘을 실행하면 탐색이 진행되고 이후 설계를 위한 피드백이 제공되므로, 별도의 오프라인 알고리즘 사전학습 단계 없이도 알고리즘 설계와 대상 최적화가 결합된다. 이 패러다임을 구현하기 위해 본 논문은 상충하는 설계 관점을 조율하여 실행 가능한 알고리즘을 합성하고, 실행 피드백을 활용해 이후 설계를 위해 런타임 증거를 해석하는 방식을 개선하는 멀티 에이전트 프레임워크인 OnDesign을 제안한다. 우리는 두 가지 주류 블랙박스 최적화 패러다임에 걸친 세 가지 시나리오, 즉 베이지안 최적화, 진화적 연속 최적화, 진화적 혼합 변수 최적화에서 OnDesign을 평가한다. 여섯 개의 벤치마크 스위트와 하나의 공학 문제에 대해 다양한 문제 차원에서 수행한 광범위한 실험을 통해, 기존 옵티마이저와 오프라인 LLM 기반 AAD 방법보다 우수한 전반적 성능을 보임을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.