오케스트레이터 학습: LLM 에이전트를 이용한 엔드투엔드 PDDL 계획의 지도 학습 접근법
Training the Orchestrator: A Supervised Approach to End-to-End PDDL Planning with LLM Agents
한국어 초록
자연어로 표현된 계획 의도를 검증된 계획으로 변환하는 것은 오랜 과제이다. 사람들은 언어로 목표를 전달하지만, 고전적 플래너는 형식적인 PDDL 명세를 요구한다. 최근 에이전트형 프레임워크는 검증기가 확인하는 정제 루프 안에서 전문 수리 에이전트 풀을 오케스트레이션하여 이 간극을 메우지만, 중심에 있는 오케스트레이터 자체가 프롬프트된 프론티어 LLM이며, 정제 단계마다 프론티어 LLM API 호출 비용을 지불한다. 우리는 HALO(Hybrid Agent-Learned Orchestrator)를 제안하며, 이는 11개 PDDL 도메인에서 외부 검증기가 유효한 계획으로 끝난다고 인증한 정제 궤적로부터 오케스트레이터를 학습한다. HALO는 작은 QLoRA 튜닝 정책을 사소하게 결정 가능한 선택을 위한 세 가지 하드코딩 규칙과 짝지으며, 확장된 21-에이전트 행동 공간에서 동작한다. 매 단계마다 프론티어 LLM을 프롬프트하거나 희소한 에피소드 종료 보상으로부터 오케스트레이터를 학습하는 접근법과 달리, 우리의 핵심 관찰은 검증기가 이미 강한 지침을 제공한다는 것이다. 수락된 모든 궤적은 입증 가능하게 올바른 (상태, 에이전트) 결정의 연속이며, 지도 신호로 직접 활용할 수 있다. PlanBench, Natural Plan, 고전적 계획 벤치마크 전반에서 HALO는 성공률에서 GPT-5-mini 프롬프트 기준선과 동등하거나 그 이상이며, 더 강한 Gemini-3-Flash 프롬프트 기준선과 3퍼센트포인트 이내의 차이에 머물고, 오케스트레이션 비용을 한 자릿수 이상 줄이며(GPT-5-mini 대비 작업당 $0.18에서 $0.004, 약 45× 저렴; Gemini-3-Flash 대비 약 15× 저렴), 에피소드당 총 LLM 호출을 40~50% 줄인다.
원문 초록
Translating natural-language planning intent into verified plans is a longstanding challenge: people communicate goals in language, while classical planners require formal PDDL specifications. Recent agentic frameworks bridge this gap by orchestrating a pool of specialized repair agents inside a verifier-checked refinement loop, but the orchestrator at the centre is itself a prompted frontier LLM, paying a frontier-LLM API call at every refinement step. We present HALO (Hybrid Agent-Learned Orchestrator), which trains the orchestrator from refinement trajectories that an external verifier has certified as ending in valid plans, across 11 PDDL domains. HALO pairs a small QLoRA-tuned policy with three hardcoded rules for trivially decidable selections, and operates over an expanded 21-agent action space. Unlike approaches that prompt a frontier LLM at every step or learn an orchestrator from sparse end-of-episode rewards, our key observation is that the verifier already provides strong guidance: every accepted trajectory is a sequence of demonstrably correct (state, agent) decisions, directly usable as supervision. Across PlanBench, Natural Plan, and classical planning benchmarks, HALO matches or exceeds the GPT-5-mini prompted baseline on success rate, sits within three percentage points of the stronger Gemini-3-Flash prompted baseline, reduces orchestration cost by more than an order of magnitude (\$0.18 to \$0.004 per task against GPT-5-mini, roughly 45$\times$ cheaper; roughly 15$\times$ cheaper than Gemini-3-Flash), and cuts total LLM calls per episode by 40 to 50 percent.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21740v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가
Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축
Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models
추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.
조사 실패로부터 신뢰할 수 있는 SOC 에이전트로: LLM 기반 경보 분류의 이해와 개선
From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage
보안관제센터(SOC)는 대량의 경보를 분류(triage)해야 하지만 이들 대부분은 무해하며, 그 과정에서 놓친 공격은 조사되지 않은 채 방치될 수 있습니다. 도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 분류 중에 증거를 수집할 수 있지만, 추론 전략이 무엇을 수집할지 결정하는 방식과 경보를 종결하기에 조사가 충분한 시점을 결정하는 방식은 여전히 명확하지 않습니다. 본 연구에서는 단일 패스 도구 사용, 반복적 검색, 샘플링된 조사, 자체 검토, 명시적 검증에 걸친 다섯 가지 대표적인 접근 방식을 조사합니다. 이 연구를 지원하기 위해 실시간 SIEM을 통해 엔터프라이즈 텔레메트리를 재생하고 각 시스템이 증거를 검색하도록 요구하는 인터랙티브 벤치마크인 ALERT-BENCH를 구축했습니다. 다단계 공격 시나리오에서 발생한 1,247개의 경보 전반에서 모든 접근 방식은 공격 관련 경보의 최소 40.4%를 놓쳤습니다. 추적 분석 결과, 검색에서 레코드가 반환되지 않을 때 공격 경보가 기각될 가능성이 더 높고, 동일 컨텍스트 검토는 순 보정 효과가 음수(-)이며, 기각이 에스컬레이션보다 일관되게 더 강력한 조사를 거치지 않는 것으로 나타났습니다. 이러한 발견을 바탕으로, 독립적인 이의 제기 전에 명시적으로 제안된 결정을 요구하고 기각 전 더 엄격한 증거 요건을 요구하는 멀티 에이전트 프레임워크인 AIDA(Adversarial Investigation and Dialectical Analysis)를 설계했습니다. AIDA는 추가 전용 조사 원장(Investigation Ledger)에 조사 기록을 보존하고 이의 제기 과정을 별도의 추론 컨텍스트로 유지합니다. 별도의 판정관(Judge)은 제안된 결정과 이의 제기를 증거와 대조하여 판정하며, 경보를 해결하거나 증거가 누락된 경우 추가 라운드를 요청합니다. 동일한 경보에서 AIDA는 연구된 접근 방식들의 0.371~0.744와 비교하여 0.958의 F1 점수를 달성했으며, 경보의 18.4%를 분석가에게 에스컬레이션하면서도 위음성률(false-negative rate)을 40.4%에서 3.1%로 낮췄습니다. 이러한 결과는 증거 검색과 결정 검토를 구조화함으로써 에이전트 기반 SOC 분류를 실질적으로 개선할 수 있음을 보여줍니다.
시간 내 완수: 기한을 준수하며 생산적인 시간 제한형 AI 에이전트를 향하여
On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents
본 연구에서는 소형 대규모 언어 모델(LLM) 에이전트가 할당된 실행 시간을 준수하면서 주어진 시간을 생산적으로 활용함으로써, 명시적인 실제 시간(wall-clock time) 예산 하에서 효과적으로 작동할 수 있는지 탐구합니다. 추가 계산 시간이 성능을 의미 있게 향상시킬 수 있는 두 가지 에이전트 벤치마크인 MLE-Bench Lite의 5개 대회에서 Qwen3.6-27B를, Zork I(Jericho)에서 Qwen3-4B를 평가합니다. 예산이 프롬프트에만 명시되는 가장 단순한 설정에서는 에이전트가 명시된 예산을 통제된 시간 활용으로 전환하는 데 실패합니다. 이러한 실패는 하네스(harness)가 타이밍 피드백을 제공하지 않아 발생하는 시간 인지의 공백뿐만 아니라, 행동의 소요 시간을 안정적으로 예측하지 못하고 가용 시간에서 적절한 전략으로 이어지는 학습된 매핑이 부재하기 때문에 발생합니다. 저자들은 두 가지 상호보완적인 개입 방식을 조사합니다. 즉, 시간 정보를 노출하고 마감 기한을 강제하는 하네스 기반 메커니즘과 예산을 인식하는 보상을 적용한 강화학습(RL)입니다. 하네스를 통해 시간 정보를 주입하면 성능의 측정 가능한 손실 없이 Qwen3.6-27B의 예산 준수도가 크게 향상되며, 강제 훅(enforcement hook)을 적용하면 준수도가 더욱 엄격해집니다. GRPO를 활용한 강화학습은 Zork I에서 거의 완벽한 예산 준수를 달성하고 학습 중 보지 못한 미확인(held-out) 예산에도 일반화되지만, MLE-Bench에서 학습되지 않은 하네스 대비 작업 성능을 향상시키지는 못합니다. 에이전트가 예산을 준수하도록 만든 후에도, 추가 시간을 작업 성능 향상에 활용하는 데는 여전히 실패합니다. 강화학습으로 학습된 정책은 종료 시점을 학습하지만 남는 시간을 반복적인 행동으로 채우는 경우가 많으며, 여러 예산에 대한 GRPO 학습은 가장 짧은 예산에 대해 학습된 전략으로 수렴(collapse)하는 경향을 보입니다. 본 연구 결과는 시간 준수와 생산적인 시간 배분 사이의 격차를 드러내며, 이는 예산 조건부 에이전트의 핵심 과제로 남아 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.