arXiv:2608.20851v1 cs.SE

BC-Bench: ERP 도메인 특화 언어에서의 에이전틱 엔지니어링 평가

BC-Bench: Evaluating Agentic Engineering in a Domain-Specific Language for ERP

Haoran Sun, Klaus Marius Hansen

제출 2026-08-21

한국어 초록

에이전틱 엔지니어링 시스템은 범용 �ench마크에서 강한 성능을 보여 왔지만, 기업 자원 계획(ERP) 도메인 특화 언어(DSL)에서의 효과는 아직 충분히 탐구되지 않았다. Microsoft Dynamics 365 Business Central용 DSL인 AL에서 실세계 과제에 대한 에이전틱 엔지니어링을 평가하도록 설계된 벤치마크 BC-Bench를 제안한다. BC-Bench는 Microsoft 소유의 두 프로덕션 저장소에서 추출한 101개의 수동 큐레이션 과제로 구성되며, 실제 ERP 개발 워크플로를 반영한다. SWE-Bench 방법론을 적용하여 AL 생태계의 고유한 제약—공개 자료의 부족과 복잡한 환경 프로비저닝을 포함—을 다룬다. 기능적 코드 생성을 넘어 BC-Bench는 테스트 생성을 평가하고, 시각적 맥락이 흔히 존재하는 멀티모달 문제 진술을 지원한다. 두 에이전트 하네스에 걸쳐 여러 프론티어 모델을 평가하고, 비결정성을 반영하기 위해 다중 실행 지표를 활용한다. 버그 수정 카테고리에서 평가한 설정 하에서는 해결률의 모델 간 차이가 평가한 두 에이전트 하네스 간 차이보다 크며, 범용 벤치마크에서 보고된 개선이 AL로 일관되게 전이되지는 않는다. 이 결과는 도메인 특화 평가의 필요성을 부각한다.

원문 초록

Agentic engineering systems have shown strong performance on general-purpose benchmarks, yet their effectiveness in enterprise resource planning (ERP) domain-specific languages (DSLs) remains underexplored. We introduce BC-Bench, a benchmark designed to evaluate agentic engineering on real-world tasks in AL, the DSL for Microsoft Dynamics 365 Business Central. BC-Bench comprises 101 manually curated tasks extracted from two Microsoft-owned production repositories, reflecting authentic ERP development workflows. Adapting the SWE-Bench methodology, we address the unique constraints of the AL ecosystem---including limited public resources and complex environment provisioning. Beyond generating functional code, BC-Bench evaluates test generation and supports multimodal problem statements where visual context is commonly present. We evaluate multiple frontier models across two agent harnesses, utilizing multi-run metrics to account for nondeterminism. In the Bug Fixing category, under our evaluated settings, between-model differences in resolution rate are larger than differences between the two evaluated agent harnesses, and improvements reported on general-purpose benchmarks do not consistently transfer to AL. These results highlight the need for domain-specific evaluation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.20851v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.