PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18191v1cs.AI

DRFLOW: 개인화된 워크플로우 예측을 위한 딥 리서치 벤치마크

DRFLOW: A Deep Research Benchmark for Personalized Workflow Prediction

딥 리서치(DR) 시스템은 복잡한 정보 탐색 작업에 점점 더 많이 사용되고 있지만, 기존 연구는 주로 보고서와 요약 생성에 초점을 맞추고 있습니다. 대조적으로, 많은 기업 작업은 에이전트가 행동 단계의 순서인 구체적인 워크플로우를 식별하는 것을 요구합니다. 예를 들어, 예산 정책을 요약하는 대신, 에이전트는 "고정된 예산 내에서 새로운 인원을 요청하려면 어떻게 해야 합니까?"와 같은 질문에 답하기 위해 필요한 단계를 결정할 수 있어야 합니다. 따라서 우리는 에이전트가 이기종 소스에서 예측한 개인화된 워크플로우를 평가하기 위한 벤치마크인 DRFLOW를 소개합니다. 각 작업은 에이전트가 분산된 소스에서 관련 증거를 식별한 다음, 해당 증거를 사용하여 사용자 작업에 대한 올바른 행동 단계 순서를 예측하도록 요구합니다. DRFLOW는 5개 도메인에 걸친 100개의 작업을 포함하며, 3,900개 이상의 소스에 기반한 1,246개의 참조 워크플로우 단계를 포함합니다. 우리는 사실적 그라운딩, 단계 복원, 구조적 순서, 조건 해결, 개인화를 포괄하는 7가지 진단 메트릭을 정의합니다. 또한 우리는 개인화된 워크플로우를 예측하기 위한 워크플로우 지향 참조 에이전트인 DRFLOW-Agent (DRFA)를 제시합니다. 우리는 DRFA가 강력한 기준선 에이전트보다 성능이 향상되었음(최대 10.02% 평균 F1 점수)을 보여주지만, 이러한 워크플로우 메트릭 전반에 걸쳐 상당한 개선의 여지가 남아 있음을 보여줍니다. 이는 완전하고 올바른 개인화된 워크플로우를 예측하는 것이 딥 리서치의 여전히 도전적인 과제임을 나타냅니다.