한국어 초록
아이디어를 처음부터 완전한 소프트웨어 프로젝트로 구현하는 일은 언어 모델의 인기 있는 활용 사례가 되었습니다. 에이전트는 장기간에 걸쳐 최소한의 인간 감독만으로 코드베이스를 초기화하고, 유지하며, 확장하는 데 배치되고 있습니다. 이러한 환경에서는 모델이 높은 수준의 소프트웨어 아키텍처 결정을 내려야 합니다. 그러나 기존 벤치마크는 단일 버그 수정이나 하나의 명시된 기능 개발과 같은 집중적이고 제한된 작업만을 측정합니다. 이에 우리는 소프트웨어 엔지니어링 에이전트가 소프트웨어를 전체적으로 개발하는 능력을 측정하기 위해 ProgramBench를 제안합니다. ProgramBench에서는 프로그램과 그 문서만을 제공받은 상태에서, 에이전트가 기준 실행 파일의 동작과 일치하는 코드베이스를 아키텍처 설계하고 구현해야 합니다. 엔드투엔드 행위 테스트는 에이전트 주도 퍼징을 통해 생성되며, 구현 구조를 미리 규정하지 않고도 평가할 수 있게 합니다. 우리의 200개 과제는 소형 CLI 도구부터 FFmpeg, SQLite, PHP 인터프리터와 같은 널리 사용되는 소프트웨어까지 아우릅니다. 우리는 9개의 언어 모델을 평가했으며, 어떤 모델도 어떤 과제도 완전히 해결하지 못했고, 가장 성능이 좋은 모델조차 전체 과제의 3%에서만 테스트의 95%를 통과했습니다. 모델들은 인간이 작성한 코드와 크게 다른, 거대하고 단일 파일로 된 구현을 선호하는 경향을 보였습니다.
요약
대규모 언어 모델(large language model, LLM) 기반 에이전트가 단순한 코드 조각을 생성하는 수준을 넘어, 처음부터 하나의 소프트웨어 프로젝트를 설계하고 구현할 수 있는지에 대한 문제의식은 최근 소프트웨어 공학 연구에서 매우 중요한 주제로 떠올랐습니다. ProgramBench는 바로 이 질문에 답하기 위해, 주어진 프로그램과 문서만을 바탕으로 참조 실행 파일의 동작을 재구성하도록 요구하는 새로운 벤치마크를 제안합니다. 기존 벤치마크가 버그 수정이나 단일 기능 구현처럼 국소적인 작업에 머무른 반면, 이 과제는 아키텍처 선택, 모듈 분할, 상태 관리, 테스트 전략 수립처럼 실제 개발에서 핵심이 되는 전역적 설계 결정을 함께 요구한다는 점에서 차별적입니다. 특히 구현 구조를 미리 지정하지 않고 행동 동등성(behavioral equivalence)만을 평가 기준으로 삼아, 코드의 겉모습이 아니라 실제 실행 행위가 얼마나 정확히 재현되는지를 측정한다는 점이 이 벤치마크의 중요한 특징입니다. 평가 체계 역시 실전성을 높이도록 설계되었습니다. 각 태스크는 오픈소스 프로그램과 그 문서를 바탕으로 구성되며, 에이전트는 이를 새로 구현한 뒤 에이전트 주도 퍼징(agent-driven fuzzing)으로 생성된 종단간(end-to-end) 행동 테스트를 통과해야 합니다. 이러한 방식은 함수 이름이나 파일 구조를 모방하는 수준의 얕은 일치를 배제하고, 입력과 출력, 상호작용 방식, 예외 처리까지 포함한 실제 프로그램의 동작을 폭넓게 검증할 수 있게 합니다. 벤치마크는 200개의 태스크로 이루어져 있으며, 작은 명령줄 도구부터 FFmpeg, SQLite, PHP 인터프리터처럼 널리 사용되는 대형 시스템까지 포괄하므로, 모델이 단순한 문법 생성 능력만이 아니라 복잡한 소프트웨어 구조를 재구성하는 능력을 갖추었는지 드러내기에 적합합니다. 또한 난이도 스펙트럼이 넓고 도메인 다양성이 크기 때문에, 규모가 커질수록 모델의 설계 추론과 일관성 유지 능력이 어디에서 무너지는지도 선명하게 관찰할 수 있습니다. 실험 결과는 현재 모델들의 한계를 분명하게 보여 줍니다. 9개의 언어 모델을 평가한 결과, 어떤 모델도 어떤 태스크도 완전히 해결하지 못했으며, 가장 성능이 좋은 모델조차 전체 태스크의 3퍼센트에서만 테스트의 95퍼센트를 통과했습니다. 이는 일부 동작을 흉내 내는 수준과 전체 시스템의 안정적인 재구성 사이에 여전히 큰 간극이 존재함을 의미합니다. 더 나아가 모델들은 인간이 작성한 코드베이스와 달리 단일 파일(monolithic, single-file) 구현을 선호하는 경향을 보였는데, 이는 모듈화와 책임 분리를 중시하는 일반적인 소프트웨어 공학 원칙과 어긋납니다. 결국 ProgramBench는 언어 모델이 코드 조각을 생성하는 능력과 실제 프로그램을 처음부터 다시 구축하는 능력이 서로 다른 문제임을 정량적으로 드러내며, 앞으로의 연구가 프롬프트 개선을 넘어 아키텍처 계획, 장기적 일관성, 모듈 분해, 단계적 검증 능력을 강화하는 방향으로 나아가야 함을 시사합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.