코딩 에이전트는 단위 테스트를 작성하고 변환할 수 있는가
Can Coding Agents Write and Transpile Unit Tests
한국어 초록
대규모 언어 모델(LLM) 기반 코딩 어시스턴트는 현대 소프트웨어 개발의 필수 도구가 되었으며, 워크플로를 실행하고 코드를 처음부터 끝까지 현대화하는 데 점점 더 신뢰받고 있다. 이러한 신뢰의 상당 부분은 테스트 통과에 기반하는데, 이 테스트는 흔히 코딩 에이전트 스스로 작성한다. 본 연구에서는 이러한 에이전트가 신뢰할 수 있는 테스트를 작성하고 이를 프로그래밍 언어 간에 변환하는 능력을 검토한다. 널리 쓰이는 세 가지 코딩 에이전트를 각각 고유 프런티어 모델과 높은 추론 강도로 평가하여 벤치마크한다. 폭넓은 지표 전반에서 검증한 결과, 코딩 에이전트는 전통적인 커버리지 지표에서 사람이 작성한 테스트 스위트를 크게 능가한다. 그러나 이 우위는 고르지 않다. 에이전트의 테스트 품질은 프로젝트 규모에 따라 급격히 저하되며, 우위의 상당 부분은 더 많은 수의 테스트를 작성한 데서 비롯된다. 또한 에이전트 기반 테스트 변환은 전반적으로 강해 보이지만 여전히 일관성이 없고 신뢰하기 어렵다는 점을 보인다.
원문 초록
Coding assistants built on Large Language Models (LLMs) have become a staple of modern software development, increasingly trusted to execute workflows and modernize code end-to-end. Much of this trust rests on passing tests, which are often written by the coding agents themselves. In this work, we examine the ability of these agents to both write reliable tests and translate them between programming languages. We benchmark three popular coding agents, each evaluated with a native frontier model and high reasoning effort. Verifying across a broad suite of metrics, we find that coding agents far exceed human written suites on traditional measures of coverage. This advantage, however, is uneven: agent test quality degrades sharply with project size, and much of the advantage lies in a greater number of written tests. We also show that agentic test translation---while seemingly strong in aggregate---remains inconsistent and unreliable.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21797v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.