창고 운영은 복잡한 다중 시스템 의사결정 로직을 인코딩하는 표준 운영 절차(SOP, Standard Operating Procedures)에 의해 관리되며, 이는 엄격한 시간 제약 하에 신뢰성 있게 실행되어야 한다. 그러나 대규모 언어 모델(LLM) 에이전트는 절차적 준수를 강제하는 메커니즘이 부족하고, 전체 SOP 명세가 유발하는 컨텍스트 과부하로 인해 성능이 저하된다. 우리는 신뢰성 있는 SOP 실행을 위해 프로덕션에 배포된 에이전틱 시스템인 Eluna를 소개한다. Eluna는 그래프 기반의 다중 에이전트 프레임워크로, SOP를 점진적 공개(progressive disclosure) 방식의 방향성 비순환 그래프(DAG)로 인코딩하고, 독립적인 작업을 병렬 서브 에이전트에 위임하며, 각 에이전트는 지속적인 코드 실행과 실시간 데이터 접근을 지원한다. 프로덕션의 지연 시간 및 정확도 요구를 충족하기 위해, 우리는 비대칭 에피소딕 지식 증류(asymmetric episodic distillation)를 활용한다. 이 방식에서는 강력한 교사 모델이 에피소딕 오류 메모리를 통해 개선되고, 더 작은 학생 모델은 메모리가 제거된 수정 궤적(corrected trajectories)으로 파인튜닝되어, 추론 시간 오버헤드 없이 수정 사항을 내재화한다. 13개 작업 벤치마크와 두 가지 프로덕션 애플리케이션에서, 우리의 파인튜닝된 모델은 교사 모델과 동등하거나 이를 초과하고, 더 큰 모든 기성 베이스라인을 능가하며, 티켓 처리 애플리케이션에서 94%의 전문가 합의율에 도달한다.
대규모 언어 모델(LLM)은 소프트웨어 개발 에이전트의 도입을 가속화했으며, 이러한 에이전트는 통합 개발 환경(IDE) 확장과 독립 실행형 애플리케이션 형태로 널리 제공되고 있다. 이러한 에이전트는 일반적으로 범용(general-purpose)이지만, 전문 에이전트(specialist agent)가 추가 개발 노력을 정당화할 수 있는지는 여전히 불분명하다. 우리는 비즈니스 프로세스 자동화(business process automation) 맥락에서 이 질문을 조사하며, Business Process Model and Notation(BPMN) 다이어그램을 실행 가능한 에이전트 워크플로(agentic workflow)로 변환하는 데 초점을 맞춘다. BPMN은 명시적인 제어 흐름(control-flow) 의미론을 명시하므로, 고정된 프로세스 모델과 입력이 실행 경로를 고유하게 결정하는 결정적(deterministic) 워크플로에 초점을 맞춘다. 이 작업을 위해 전문 워크플로(specialist workflow)를 도입하고 Roo, Cline과 같은 범용 에이전트(generalist agent)와 비교한다. 결과에 따르면 전문 솔루션은 도구 사용 정확도(tool-use exactness)에서 범용 베이스라인 대비 약 9-20%p 우수하고, 페널티 조정 지연시간(penalty-adjusted latency)에서는 2-4배, 도구 호출 오류는 3배 적으며, 생성 토큰 비용은 95% 이상 절감하고 수리(repair) 반복을 제거한다. 또한 범용 에이전트는 기능과 품질 모두에서 일관되지 않은 코드를 생성하여, 신뢰성과 유지보수성이 필수적인 산업 환경에는 적합하지 않음을 확인했다.
대규모 언어 모델(LLM) 에이전트는 코드를 작성하고 도구를 호출할 수 있지만, 신뢰할 수 있는 생물정보학 작업은 워크플로 소프트웨어, 타입이 지정된 데이터 객체, 출처 추적(provenance), 생물학적 검증과의 장기 실행 상호작용을 요구한다. 우리는 Galaxy 워크플로 실행을 통해 이 설정을 연구한다. 에이전트는 작업 데이터를 탐색하고, 실행 가능한 워크플로 방향성 비순환 그래프(DAG)를 구성하거나 적응시키며, 입력과 데이터셋 컬렉션을 바인딩하고, 실행을 모니터링하고, 실패를 디버깅하며, 생물학적 출력을 검증해야 한다. 검증된 워크플로 롤아웃을 재사용 가능한 전술(tactics)로 변환하는 Galaxy 기반 학습 프레임워크인 Process-Reward Tactic Evolution을 제안한다. 학습 중 에이전트는 Agent Gym에서 커리큘럼으로 구성된 Galaxy 작업을 연습하고, 프로세스 검증기가 워크플로 구성, 소프트웨어 상호작용, 실행, 생물학적 정확성을 채점하며, 성공 및 실패 추적을 전술 라이브러리로 증류한다. 추론 시 학습된 실행기 Process-Reward Tactic Evolution은 이 라이브러리를 사용하여 격리된 환경에서 보류(hold-out)된 동료 검토(peer-reviewed) Galaxy 워크플로에서 변환된 BioWorkflowBench 및 BioAgentBench 작업을 실행한다. 본 논문은 프로세스 감독(process-supervised) 전술 축적이 무기억(no-memory) 및 반성(reflection) 방식 베이스라인 대비 장기 실행 생물정보학 워크플로 완료, 생물학적 정확성, 실행 효율성을 개선하는지 평가한다.