PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.15229v4cs.SE

PBT-Bench: 속성 기반 테스팅 환경에서 AI 에이전트 벤치마킹

PBT-Bench: Benchmarking AI Agents on Property-Based Testing

기존 코드 벤치마크는 에이전트(agent)가 알려진 버그를 재현하는 임의의 테스트를 생성할 수 있는지, 또는 기술된 문제를 해결하는 패치를 생성할 수 있는지를 측정합니다. 그러나 두 방식 모두 속성 기반 테스팅(PBT, property-based testing)의 고유한 역량인 문서로부터 의미론적 불변식(semantic invariant)을 도출하고 무작위 탐색을 통해 위반 사항을 드러낼 수 있을 만큼 정밀한 입력 생성 전략을 구축하는 능력을 분리하여 평가하지는 못합니다. 본 논문에서는 40개의 실제 Python 라이브러리에 걸친 100개의 선별된 속성 기반 테스팅 문제로 구성된 벤치마크인 PBT-Bench를 소개합니다. 각 문제는 기본 전략의 무작위 입력으로는 거의 발생하지 않도록 설계된 하나 이상의 의미론적 버그(총 365개, 문제당 평균 3.65개)를 주입하며, 에이전트는 라이브러리 문서를 읽고 관련 불변식을 식별한 뒤 트리거 영역에 확률 질량을 집중시키는 Hypothesis @given 전략을 명시해야 합니다. 버그는 단일 제약 조건 경계 버그부터 상태를 지닌(stateful) 함수 간 프로토콜 위반에 이르기까지 세 가지 난이도 수준(L1-L3)으로 계층화됩니다. 저자들은 설정당 3회의 독립적인 실행을 통해 두 가지 프롬프트(prompt) 방식(자유형 기준선(baseline) 대비 명시적 Hypothesis 스캐폴딩) 하에서 8개의 최신 대규모 언어 모델(LLM)을 평가합니다. PBT 유도 프롬프트 환경에서 모델 전반의 버그 재현율(recall)은 42.1%에서 83.4% 사이이며, 자유형 기준선 환경에서는 31.4%에서 76.7% 사이를 기록했습니다. Hypothesis 스캐폴딩은 중간 성능 모델을 20%포인트 이상 향상시키지만 최상위 모델에서는 향상 폭이 더 작았으며, 두 가지 예외적인 경우에서는 성능 저하가 나타나 구조화된 프롬프트가 특정 모델의 행동을 보완하기보다 방해할 수 있음을 시사합니다. 가장 까다로운 버그는 모델별로 상이한 것으로 나타났는데, 서로 다른 아키텍처가 서로 다른 문제에서 실패하여 단일 모델로 해결되지 않는 지속적인 격차가 남았습니다. 저자들은 문서 기반 의미론적 추론에 관한 후속 연구를 지원하기 위해 벤치마크, 하네스, 전체 평가 코퍼스를 공개합니다.