자기 진화 에이전트(self-evolving agent)는 자신의 하네스(harness)를 재작성하며 어떤 재작성본을 유지할지 결정해야 하므로, 에이전트의 개선 신호는 재작성본이 통과해야 하는 검증이 됩니다. 에이전트 롤아웃(rollout)으로 재작성을 검증하는 것은 비용이 많이 들고 주관적인 반면, 저장소 자체의 테스트와 같은 실행 가능한 검증은 동작을 변화시키는 재작성을 포착하기에는 너무 희소하여 그중 4분의 1만을 거부합니다. 우리는 그 대신 테스트 피드백을 실행 가능한 신호로 삼고, 신호가 조밀하고 유익할 수 있도록 품질-다양성(quality-diversity) 진화 알고리즘을 통해 작으면서도 강력한 테스트 스위트(test suite)를 탐색합니다. TeSearch는 스위트 크기를 행동 기술자(behavior descriptor)로 취급하여 모든 크기에서 품질을 추구하고 작고 강력한 스위트에 도달할 수 있도록 하며, 해당 기술자에 대한 액추에이터로서 대규모 언어 모델(LLM)의 노이즈를 제거하는 전이 커널(transition kernel)을 탐색 과정에서 학습합니다. 129개의 실제 모듈과 세 가지 백본에 걸쳐, TeSearch는 LLM 기반 진화 탐색을 포함해 비교된 모든 방법 중 가장 높은 품질의 스위트를 제공하며, LLM 기반 방법 중 가장 작은 크기를 달성합니다. 자기 진화 에이전트의 개선 신호로 사용되었을 때, 이는 4.0%의 오경보율(false-alarm rate)과 결정당 3.5초의 속도로 동작을 변화시키는 재작성의 59.9%를 거부하여 저장소 자체 테스트의 25.3%와 대비를 이룹니다. 코드와 데이터는 https://github.com/ccsnow127/TeSearch 에서 확인할 수 있습니다.
대규모 언어 모델(LLM)은 고전적인 코드 생성에서 우수한 결과를 보여주었으며, 해당 코드를 보호하는 단위 테스트를 작성하는 데에도 점점 더 많이 활용되고 있습니다. 그러나 양자 소프트웨어에 대해서도 동일한 역할을 수행할 수 있는지는 명확하지 않습니다. 양자 프로그램은 확률론적이고, 수치적 허용 오차에 의존하며, 도메인 특화 검사기(checker)를 통해 판단되기 때문에 잘 구성된 테스트라 할지라도 벤치마크의 판정과 불일치할 수 있기 때문입니다. 기존의 양자 벤치마크는 모델이 올바른 솔루션을 생성하는지 여부만 측정할 뿐, 모델이 생성한 테스트가 올바른 구현과 결함이 있는 구현을 구별할 수 있는지는 측정하지 못합니다. 본 논문에서는 LLM이 생성한 양자 테스트 스위트를 독립적인 벤치마크 검사기와 비교 평가하며, 테스트 자체를 결코 정답(ground truth)으로 간주하지 않는 프레임워크인 QTestBench를 소개합니다. 각 태스크에 대해 QTestBench는 모델이 구문적, 의미적, 동작적 테스트를 생성하도록 프롬프트를 제공하고, 런타임에 후보 솔루션을 주입하며, 각각 별개의 진단 질문에 답하는 세 가지 검증(validation) 코호트 하에서 각 테스트 판정과 검사기의 레이블을 비교합니다. 저자들은 8개의 PennyLane QHack 챌린지와 10개의 Qiskit HumanEval 태스크에서 5개의 LLM을 벤치마크합니다. 생성된 스위트는 거의 항상 실행되지만 변별력은 이에 미치지 못합니다. 가장 우수한 생성 모델도 QHack에서 0.71, Qiskit HumanEval에서 0.34의 테스트 품질에 도달하므로, 실행 가능성만으로는 테스트 품질이 과대평가됩니다. 오라클로 검증된 합성 뮤턴트는 결함이 전혀 발생하지 않은 10개 중 3개의 Qiskit 태스크처럼 자연적인 결함 솔루션이 희소할 때 버그 감지 추정치를 안정화합니다. QTestBench는 LLM이 생성한 양자 테스트의 신뢰성을 평가하기 위한 재현 가능하고 프레임워크 간 비교가 가능한 벤치마크를 제공합니다.
게임용 테스트 입력을 자동으로 생성하는 일은 쉽지 않다. 테스트 생성기는 고급 프로그램 상태에 도달하기 위해 게임을 숙달해야 할 뿐만 아니라, 게임에 내재된 강한 프로그램 무작위성에 대해서도 견고함을 보장해야 하기 때문이다. 이에 테스트 생성기 Neatest는 고급 프로그램 상태에 도달하면서 프로그램 무작위성에 견고한 신경망(neural network)으로 구성된 테스트 스위트를 최적화하며, 이 신경망들은 현재 프로그램 상태에 따라 테스트 입력을 동적으로 생성한다. Neatest는 신경진화(neuroevolution)를 사용하여 아직 커버되지 않은 코드의 각 구문(statement) 또는 분기(branch)마다 네트워크 에이전트를 생성하는 것을 목표로 하는 화이트박스 테스트 접근법이다. 이러한 반복적인 테스트 생성 방식 때문에, 이 알고리즘은 수천 개의 분기를 포함할 수 있는 더 큰 프로그램으로는 잘 확장되지 않는다. 더욱이 게임의 모든 구문이나 분기를 커버하는 것이 의도된 방식대로 게임을 플레이하는 것과 일치하지 않는 경우가 많다. 이러한 단점을 완화하기 위해, 본 논문은 Neatest를 모델 기반 테스트(model-based testing) 접근법과 결합하여 게임 테스터가 추상 게임 모델을 통해 테스트 시나리오를 정의할 수 있도록 하는 방안을 제안한다. 그러면 테스트 생성기는 더 이상 프로그램의 모든 분기나 구문에 도달하도록 네트워크를 최적화하지 않고, 대신 추상 게임 모델이 표현하는 구체적인 목표 테스트 행동을 재현하도록 네트워크를 학습시킨다. 다양한 장르의 Scratch 게임 13개에 대한 평가 결과, 모델 기반 테스트와 결합한 Neatest는 게임 모델에 정의된 목표 게임플레이 행동을 재현하는 에이전트를 최적화할 수 있으며, 동시에 기존의 코드 기반 Neatest 접근법 대비 달성한 분기 커버리지를 7% 높이는 것으로 나타났다.
의미를 보존하는 커밋과 의미를 변경하는 커밋을 구별하는 것은 소프트웨어 저장소 마이닝(software repository mining)에서 여전히 해결되지 않은 과제이다. 기존 접근법은 리팩터링 커밋을 정확하게 탐지하지만, 행동을 변경하는 수정이 뒤섞이지 않은 순수하게 의미를 보존하는 커밋인지는 보장할 수 없다. 이러한 한계는 디버깅, 결함 국소화(fault localisation), 버그 데이터셋 구축, 롤백 분석, 버그 수정 백포팅(backporting) 등 여러 작업에 영향을 줄 수 있다. 이 간극을 메우기 위해, 우리는 SemaDiff를 제안한다. 이는 행동 기반 분석—커밋 전후 버전에서 유사한 테스트 실행을 비교하는 방식—을 통해 의미를 보존하는 커밋을 식별하는 새로운 접근법이다. 리팩터링의 영향을 받는 코드는 종종 테스트하기 어렵고 두 버전 간에 서로 다르기 때문에, 우리는 그 코드에 대한 추가 호출 메서드를 생성하여 테스트 대상으로 사용하는 방식을 제안한다. 커밋이 주어지면 SemaDiff는 diff를 분석하여 수정된 코드를 식별하고, 이를 호출하는 변경되지 않은 종속 코드를 추출한다. 그런 다음 언어 모델을 사용하여 추가 종속 클래스를 생성해 두 버전 모두에서 변경된 코드를 실행하도록 하고, 종속 코드에 대한 테스트를 자동으로 생성한다. 이를 통해 서로 다른 코드 버전에 대해 동일한 테스트를 얻을 수 있어 행동 차이 탐지가 가능해진다. 커밋은 생성된 모든 테스트가 두 버전에서 동일한 결과를 낼 때만 의미를 보존하는 것으로 분류된다. SemaDiff를 평가하기 위해, 잘 알려진 오픈소스 Java 프로젝트에서 수집한 183개 커밋으로 구성된 데이터셋을 수동으로 구축하고 주석을 달았다. 얻어진 결과는 SemaDiff가 전체 사례의 약 76%에서 의미를 보존하는 커밋과 의미를 변경하는 커밋을 정확히 구별하며, 의미 변경 커밋 탐지에서 100% 정밀도를 달성함을 보여준다.
자율 코딩 에이전트가 자동화된 테스트 생성을 크게 발전시켰음에도, 이들은 근본적으로 게으른 생성(lazy generation)이라는 현상에 의해 제한된다. 이는 에이전트가 작업을 조기에 종료하고 복잡한 프로그래밍 로직을 체계적으로 회피하여 불충분한 코드 커버리지를 초래하는 현상이다. 현재 이러한 조기 종료를 완화하려면 지속적인 인간-참여(human-in-the-loop) 감독이 필요하다. 인간의 직관에 대한 이러한 과도한 의존은 자동화 생성의 효율성 이점을 상쇄하는 병목 현상을 야기한다. 우리는 테스트 생성 과정에서 인간 개입을 대체하는 코딩 에이전트의 적응형 자동 감독 프레임워크인 SCATE를 제안한다. 감독을 문맥적 밴딧(contextual bandit) 문제로 공식화함으로써, SCATE는 현재 커버리지와 클래스 테스트 가능성 지표를 기반으로 가장 유망한 테스팅 행동을 선택하는 방법을 학습하여, 불필요한 생성 노력을 최소화하면서 커버리지 향상을 극대화한다. 우리의 실증적 평가는 SCATE가 다양한 코딩 에이전트와 원활하게 통합됨을 보여준다. GEMINI-CLI에 적용했을 때, 에이전트 단독 기준선 대비 라인 커버리지 32.3%, 브랜치 커버리지 30.9% 향상을 달성한다. CLAUDE CODE와의 비교는 프레임워크가 각 에이전트의 고유한 강점을 최적화하기 위해 정책을 동적으로 적응시킴을 확인한다. SCATE는 또한 모든 지표에서 최신 비에이전트 방식을 일관되게 능가한다.
소프트웨어 테스트와 코드의 공동 진화(co-evolution)를 평가하기 위해, 152개의 오픈소스 Java 프로젝트에서 실제 커밋 이력을 기반으로 746개의 테스트 생성 및 509개의 테스트 업데이트 태스크를 포함한 실행 가능한 라이브 벤치마크 TestEvo-Bench를 제안한다. Claude Code, Gemini CLI, SWE-Agent 등 최신 에이전트를 평가한 결과 테스트 생성에서 최대 77.5%, 테스트 업데이트에서 74.6%의 성공률을 달성했지만, 학습 데이터 오염을 줄이기 위해 모델의 학습 컷오프 이후 태스크로 한정할 경우 성공률이 유의미하게 하락했다.