arXiv:2610.02952v1 cs.SE

GTDD: 적대적 테스트를 활용한 AI 코딩 에이전트를 위한 생성적 테스트 주도 개발

GTDD: Generative Test-Driven Development for AI Coding Agents with Adversarial Testing

Masahiro Kato

제출 2026-10-02

한국어 초록

테스트 주도 개발(Test-Driven Development, TDD)은 AI 코딩 에이전트에게 소프트웨어를 구현하기 위한 실행 가능한 요구사항을 제공한다. 이러한 에이전트는 자신이 관찰한 예시에 맞춰 구현을 조정할 수 있기 때문에, 미리 정해진 테스트 집합을 통과하더라도 의도된 동작의 상당 부분이 구현되지 않은 채로 남을 수 있다. 우리는 생성적 테스트 주도 개발(Generative Test-Driven Development, GTDD)을 제안한다. 이는 테스트 주도 개발의 한 형태로, 별도의 테스트 에이전트가 각 후보 구현이 확정된 후 사람이 명시한 행동 계약(behavioral contract)과 이전 라운드의 피드백을 활용하여 새로운 입력을 생성한다. 신뢰할 수 있는 평가자(evaluator)가 이러한 입력을 검사하고, 축소된 반례(counterexample)를 코딩 에이전트에게 반환하며, 이를 회귀 테스트(regression testing)를 위해 저장함으로써, 개발 과정이 초기 예시를 넘어선 실패 사례들과 지속적으로 마주하게 한다. 우리는 적응적 후보 선택(adaptive candidate selection) 하에서의 오수용(false acceptance)에 대한 유한 모집단 분석을 통해 이 과정이 제공하는 근거를 특성화한다. 그 결과로 도출된 경계(bound)는 테스트 가시성(test visibility)과 반복적인 피드백이 수용(acceptance)에 미치는 영향을 정량화하며, 후보가 확정된 이후의 새로운 무작위 감사(random audit)가 개발 라운드 전반에 걸쳐 오수용을 제어한다는 것을 보여준다. 상태를 가지는(stateful) 키-값 저장소(key-value store)에 대한 대응 실험(paired experiment)에서, 개발 과정 중 테스트를 재생성한 두 정책 모두 동일한 언어 모델에 의해 테스트가 한 번만 생성된 정책보다 평균 실패율이 더 낮게 나타났으며, 테스터에게 후보의 소스 코드를 제공하는 것은 감지 가능한 추가적인 개선을 만들어내지 못했다. 동일한 수의 테스트를 요청하는 추가 조건들에서도 이러한 차이의 원인이 되는 정책의 단일 특징(feature)을 분리해내지 못했다. GTDD는 이러한 적응적 개발 피드백을 확립된 회귀 테스트 및 독립적인 수용 규칙(acceptance rule)과 결합한다.

원문 초록

Test-driven development gives AI coding agents executable requirements for implementing software. Because these agents can adapt their implementations to the examples they observe, passing a predetermined collection of tests can leave substantial parts of the intended behavior unimplemented. We propose Generative Test-Driven Development (GTDD), a formulation of test-driven development in which a separate testing agent generates new inputs after each candidate implementation is fixed, using a human-specified behavioral contract and the feedback from earlier rounds. A trusted evaluator checks these inputs, returns reduced counterexamples to the coding agent, and saves them for regression testing, so development continually confronts failures beyond the initial examples. We characterize the evidence that this process provides through a finite-population analysis of false acceptance under adaptive candidate selection. The resulting bounds quantify how test visibility and repeated feedback affect acceptance, and show that fresh random audits after candidate commitment control false acceptance across development rounds. In a paired experiment on a stateful key-value store, both policies that regenerated tests during development ended with lower mean failure rates than the policy whose tests were generated once by the same language model, and giving the tester the candidate's source produced no detectable additional improvement. Further conditions requesting equal numbers of tests did not isolate any single feature of the policies as the source of this difference. GTDD combines this adaptive development feedback with established regression tests and an independent acceptance rule.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02952v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.