PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01306v1cs.AI

DAYJOB: 장기적 전문 업무를 위한 벤치마크

DAYJOB: A Benchmark for Long-Horizon Professional Work

전문적인 업무는 종종 무엇이 필요한지, 어떤 문서가 중요한지, 그리고 요청의 전제가 유효한지를 전문가가 직접 파악해야 하는 간단한 요청에서 시작됩니다. 본 논문에서는 의료(50개) 및 금융(80개) 분야의 전문가들이 구축한 130개 과제로 구성된 벤치마크인 DAYJOB을 소개합니다. 이 과제들은 전문가 기준으로 의료 분야에서 평균 13.6시간, 금융 분야에서 16.6시간이 소요될 것으로 추정됩니다. 각 과제는 컨테이너화된 Harbor 환경으로 구성되며, 에이전트 기반 판정관(agentic judge)이 제출된 파일에 적용하는 이진 기준(과제당 중앙값 47.5개 및 57.5개)의 전문가 루브릭을 포함하고, 모든 기준을 충족해야만 통과로 인정됩니다. 13개 개발사의 30가지 모델 구성을 평가한 결과, 가장 우수한 성능을 보인 Claude Opus 5.5는 의료 시도의 24.7%와 금융 시도의 23.9%를 통과한 반면, 중앙값 구성은 각각 0.6%와 2.5%를 통과하는 데 그쳤습니다. 사례 연구에서 에이전트들은 기록과 모순되는 전제를 그대로 수용하거나, 잘못된 입력을 바탕으로 일관된 분석을 계속 수행하는 모습을 보였습니다. 본 연구진은 모든 의료 과제, 80개 금융 과제 중 50개, 평가 하네스(evaluation harness), 그리고 리더보드를 공개합니다.