SWE-NFI: 비기능적 개선을 위한 코딩 에이전트 연구 및 벤치마킹
SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements
코딩 에이전트(coding agent)가 정확성 중심의 벤치마크에서 인상적인 성능을 달성했음에도 불구하고, 동작을 보존하는 비기능적 개선(NFI)을 수행하는 능력은 여전히 충분히 연구되지 않았습니다. 실제 소프트웨어 개발에서 개발자는 관찰 가능한 동작을 변경하지 않고 소프트웨어 품질을 지속적으로 개선하지만, 기존 벤치마크는 주로 기능적 정확성만을 평가하며 이러한 비기능적 개선을 평가하는 데는 제한적인 지원만을 제공합니다. 본 논문에서는 기능적 정확성을 넘어 NFI에 대해 코딩 에이전트를 평가하기 위한 벤치마크인 SWE-NFI를 제시합니다. SWE-NFI는 오픈소스 Python 프로젝트의 실제 병합된 풀 리퀘스트(PR)로부터 구축된 188개의 태스크를 포함합니다. 저자들은 개발자 중심의 5가지 NFI 측면을 92개의 실행 가능한 규칙으로 구체화하고, 원본 코드의 주요 속성이 보존되는지 평가하기 위해 태스크별 기능 보존 검사를 먼저 적용한 후 규칙 기반 NFI 평가를 수행하는 평가 스위트를 개발했습니다. 이러한 검사를 통과한 출력에 대해, 원본 코드 대비 해당 태스크의 목표 측면에 대한 정규화된 규칙 점수의 변화로 NFI 개선도를 측정합니다. 8개의 상용 및 오픈소스 에이전트 구성을 평가하고 각 태스크마다 각 구성을 5회씩 실행했습니다. 유효한 에이전트 출력 중 최대 70.0%만이 모든 태스크별 기능 보존 검사를 만족했습니다. 이러한 검사를 통과한 출력 중에서도 NFI 성능은 측면에 따라 상당한 차이를 보였습니다. 특히 평가된 모든 구성은 로직 패턴(Logic Patterns)에서 0.0에서 1.3 사이의 평균 개선도를 달성하여 인간 기준(Human Reference) 평균인 1.5에 미치지 못했습니다. 본 연구의 벤치마크와 발견점은 비기능적 개선 측면에서 코딩 에이전트를 평가하고 추가적인 발전이 필요한 NFI 측면을 식별할 수 있는 재현 가능한 기반을 제공합니다.