Ephyra: LLM 시대를 위한 속성 기반 테스팅 프레임워크
Ephyra: A Property-Based Testing Framework for the LLM Era
한국어 초록
코딩 에이전트가 이제 소프트웨어 테스트의 점점 더 많은 부분을 작성하고 있으나, 속성 기반 테스팅(PBT) 라이브러리는 과거의 고려 사항에 따라 설계되어 있다. 우리는 맞춤화 가능성, 관측 가능성, 생성기 합성이라는 세 가지 개념을 기반으로 Rust로 구현한 PBT 라이브러리 Ephyra를 제시한다. Ephyra를 통해 사용자는 생성, 변이, 축소로 구성된 자신만의 테스트 루프를 조합할 수 있으며, 기능적 술어를 만족하도록 이러한 구성 요소를 합성할 수 있다. Ephyra를 14개의 오픈 소스 시스템에 적용하여 349개의 버그를 발견하고 그중 300개를 보고하였다. 대상은 데이터베이스 관리 시스템(SQLite, Turso, PostgreSQL, DuckDB, DataFusion), 검증된 정책 엔진(Cedar), SQL 동치성 증명기(QED), Node.js에서 사용되는 URL 파서(ada-url), 기존 오픈 소스 시스템을 Rust로 재구현한 프로젝트(coreutils, brush, gitoxide), 그리고 컴파일러(binaryen, OCaml, OxCaml)이다.
원문 초록
Coding agents now write a growing share of software tests; however, property-based testing (PBT) libraries are designed with historical considerations. We present Ephyra, a PBT library in Rust built on three concepts: customizability, observability and generator synthesis. Ephyra lets users compose their own testing loops from generation, mutation and shrinking, and synthesize these components to satisfy functional predicates. Applying Ephyra to 14 open source systems, we have found 349 bugs and reported 300 of them, in database management systems (SQLite, Turso, PostgreSQL, DuckDB, DataFusion), the verified policy engine (Cedar), the SQL equivalence prover (QED), the URL parser used in Node.js (ada-url), reimplementations of existing open source systems in Rust (coreutils, brush, gitoxide), and compilers (binaryen, OCaml, and OxCaml).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23282v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.