OfficePrism: 기업 업무 기능 전반에서 단일 영역 작업을 수행하는 에이전트 평가
OfficePrism: Benchmarking Agents on Single-Domain Operations Across Enterprise Business Functions
한국어 초록
직장 업무를 폭넓게 평가한 점수에는 개별 업무 기능의 수행 능력과 여러 기능 및 시스템을 조율하는 추가 부담이 함께 반영될 수 있다. 그러면 실패가 어디에서 생겼는지 찾기 어렵다. OfficePrism은 여러 기능을 조율하기 전에 필요한 단일 영역 능력을 평가한다. 벤치마크가 공통으로 정의한 L1~L3 과제 구조 수준에서 일곱 가지 기업 업무 기능의 단일 영역 과제 420개를 다룬다. 각 과제를 새로운 환경에서 실행하며, 공통의 합성 조직에 특정 업무 기능의 영역 하나와 타입이 지정된 상태 접근을 결합한다. 파이프라인은 근거가 있는 기록, 업무 규칙, 도구 스키마를 사용해 중국어 업무 티켓, 숨겨진 실행 가능한 참조 검증 절차, 기대 응답을 함께 만든다. 이후 자동 필터링과 수동 선별을 거친다. 같은 과제 집합을 전체 스키마 패키지와 검색·호출 패키지로 평가한다. 모델, 실행 환경, 패키지의 조합 124개에서 자연어 응답과 데이터베이스 조건을 모두 충족한 사례별 통과율은 22.6~76.4%였고 중앙값은 67.9%였다. 모든 조합에서 L1의 점수가 가장 높았고, 122개에서 L2가 L3보다 높았다. 두 패키지에 같은 실행 환경과 모델을 쓴 조합 50개 중 검색 방식은 30개에서 더 높고, 1개에서 같았으며, 19개에서 더 낮았다.
원문 초록
Broad workplace scores can mix competence within one business function with the extra cost of coordinating across functions and systems, making failures hard to localize. OfficePrism evaluates this prerequisite through 420 single-domain enterprise tasks spanning seven business functions under shared, benchmark-defined L1--L3 task-structure levels. Each task runs in a fresh environment combining a shared synthetic organization with one function-specific domain and yped state access. Our pipeline uses grounded records, business rules, and tool schemas to jointly construct a Chinese-language ticket, a hidden executable reference witness, and an expected response, followed by automated filtering and human curation. The same task set is evaluated through full-schema and search-and-dispatch packages. Across 124 model--harness--package configurations, the per-case joint natural-language-and-database pass rate ranges from 22.6% to 76.4%, with a median of 67.9%. L1 is highest in all 124 configurations, and L2 exceeds L3 in 122. Among 50 configurations sharing the same harness and model labels across both packages, search scores higher in 30, ties in one, and scores lower in 19.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22262v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.