오케스트레이터 학습: LLM 에이전트를 이용한 엔드투엔드 PDDL 계획의 지도 학습 접근법
Training the Orchestrator: A Supervised Approach to End-to-End PDDL Planning with LLM Agents
자연어로 표현된 계획 의도를 검증된 계획으로 변환하는 것은 오랜 과제이다. 사람들은 언어로 목표를 전달하지만, 고전적 플래너는 형식적인 PDDL 명세를 요구한다. 최근 에이전트형 프레임워크는 검증기가 확인하는 정제 루프 안에서 전문 수리 에이전트 풀을 오케스트레이션하여 이 간극을 메우지만, 중심에 있는 오케스트레이터 자체가 프롬프트된 프론티어 LLM이며, 정제 단계마다 프론티어 LLM API 호출 비용을 지불한다. 우리는 HALO(Hybrid Agent-Learned Orchestrator)를 제안하며, 이는 11개 PDDL 도메인에서 외부 검증기가 유효한 계획으로 끝난다고 인증한 정제 궤적로부터 오케스트레이터를 학습한다. HALO는 작은 QLoRA 튜닝 정책을 사소하게 결정 가능한 선택을 위한 세 가지 하드코딩 규칙과 짝지으며, 확장된 21-에이전트 행동 공간에서 동작한다. 매 단계마다 프론티어 LLM을 프롬프트하거나 희소한 에피소드 종료 보상으로부터 오케스트레이터를 학습하는 접근법과 달리, 우리의 핵심 관찰은 검증기가 이미 강한 지침을 제공한다는 것이다. 수락된 모든 궤적은 입증 가능하게 올바른 (상태, 에이전트) 결정의 연속이며, 지도 신호로 직접 활용할 수 있다. PlanBench, Natural Plan, 고전적 계획 벤치마크 전반에서 HALO는 성공률에서 GPT-5-mini 프롬프트 기준선과 동등하거나 그 이상이며, 더 강한 Gemini-3-Flash 프롬프트 기준선과 3퍼센트포인트 이내의 차이에 머물고, 오케스트레이션 비용을 한 자릿수 이상 줄이며(GPT-5-mini 대비 작업당 $0.18에서 $0.004, 약 45× 저렴; Gemini-3-Flash 대비 약 15× 저렴), 에피소드당 총 LLM 호출을 40~50% 줄인다.