arXiv:2602.11574v5 cs.AI

에이전틱 AI 시스템 구성 학습

Learning to Configure Agentic AI Systems

Aditya Taparia, Som Sagar, Ransalu Senanayake

제출 2026-02-12

저자 비고

arXiv Comments

22 pages, 12 figures

한국어 초록

대규모 언어 모델(LLM) 기반 에이전트 시스템을 구성하는 것은 방대한 조합의 설계 공간에서 워크플로, 도구, 토큰 예산, 프롬프트를 선택하는 과정을 수반합니다. 현재는 일반적으로 질의 난이도와 무관하게 동일한 구성을 적용하는 고정된 템플릿이나 수작업으로 튜닝된 휴리스틱으로 처리되어, 취약한 동작과 연산 자원 낭비를 초래합니다. 이를 해결하기 위해, 본 연구에서는 각 구성이 에이전트 시스템의 질의 처리 방식을 결정하는 시간적으로 확장된 옵션으로 작용하는 준 마르코프 결정 과정(SMDP)으로 에이전트 구성을 정형화하고, 질의별 에이전트 구성을 동적으로 선택하는 경량 계층적 정책인 ARC(Agentic Resource & Configuration learner)를 소개합니다. 추론, 도구 사용 및 에이전틱 벤치마크 전반에서 ARC는 예산이 일치하는 도구 증강 LLM보다 일관되게 향상된 성능을 보여주었으며, 평균 추론 정확도를 31.3%, 도구 사용 정확도를 13.95% 향상시켰고, τ-Bench (Airline) Pass^1 성공률을 9.0%에서 18.0%로 두 배로 높였습니다. 이러한 결과는 질의별 에이전트 구성을 학습하는 것이 '모두에게 일률적으로 적용되는(one size fits all)' 설계에 대한 강력한 대안임을 입증합니다.

원문 초록

Configuring LLM-based agent systems involves choosing workflows, tools, token budgets, and prompts from a large combinatorial design space, and is typically handled today by fixed templates or hand-tuned heuristics that apply the same configuration regardless of query difficulty, leading to brittle behavior and wasted compute. To address this, we formulate agent configuration as a semi-Markov decision process (SMDP) where each configuration acts as a temporally extended option that determines how an agent system processes a query, and introduce introduce ARC (Agentic Resource & Configuration learner), a lightweight hierarchical policy that dynamically selects query-specific agent configurations. Across reasoning, tool-use, and agentic benchmarks, ARC consistently improves over budget-matched tool-augmented LLMs, increasing average reasoning accuracy by 31.3%, tool-use accuracy by 13.95%, and doubling τ-Bench (Airline) Pass^1 success from 9.0% to 18.0%. These results demonstrate that learning per-query agent configurations is a powerful alternative to "one size fits all" designs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.11574v5

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02330v1cs.AI공통 태그 Reinforcement Learning, Sequential Decision Making, Large Language Model

행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정

Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.

arXiv:2610.00590v1cs.CR공통 태그 Hierarchical Reinforcement Learning, Sequential Decision Making, Large Language Model

대규모 언어 모델을 활용한 계층적 사이버 방어를 향하여: 계획부터 실행까지

Towards Hierarchical Cyber Defense with Large Language Models: From Planning to Execution

강화학습(RL)으로 학습된 자율 사이버 방어 에이전트는 일반적으로 학습된 특정 네트워크에 종속되어 네트워크 규모가 변할 때 일반화 능력이 제한됩니다. 계층적 강화학습은 전략적 목표 설정과 전술적 실행을 분리하여 의사결정 복잡도를 줄이지만, 이러한 재학습 의존성을 완전히 제거하지는 못합니다. 본 연구에서는 파라미터가 고정된(frozen) 제로샷 대규모 언어 모델(LLM)이 계층적 사이버 방어에서 재학습이 필요 없는 제어를 제공할 수 있는지, 그리고 LLM 제어가 계획에서 실행으로 확장됨에 따라 성능이 어떻게 변화하는지 조사합니다. 우리는 계획자가 고정된 기간 동안 방어할 서브넷을 선택하고 실행자가 해당 서브넷 내에서 방어 행동을 선택하는 제어기 독립적(controller-agnostic) 계획자-실행자 계층 구조를 정식화합니다. MITRE ATT&CK 프레임워크와 매핑된 자동화된 레드팀 에이전트가 내장된 고충실도 Cyberwheel 환경을 활용하여, 소형, 중형, 대형 네트워크 전반에서 사이버 보안 특화 모델 2종을 포함한 3B~70B 파라미터 규모의 6개 모델을 바탕으로 RL+RL, LLM+RL, LLM+LLM 구성을 비교합니다. 계획자만 LLM으로 교체하는 것은 네트워크 크기가 커짐에 따라 제한적인 성능 향상만을 보였습니다. 반면, 실행 단계까지 LLM 제어를 확장하면 충분한 역량을 갖춘 모델에서 주목할 만한 성능 개선이 나타났습니다. 예를 들어, 고정된 범용 70B 모델은 RL 기준선이 각 규모마다 재학습되는 동안 동일한 모델 가중치를 사용하여 세 가지 네트워크 규모 모두에서 성공적인 횡적 이동(lateral movement) 비율을 약 1% 수준으로 억제하고 공격자 영향을 거의 0에 가깝게 유지했습니다. 본 연구 결과는 충분한 역량을 갖춘 고정된 LLM이 과제 특화 재학습 없이도 평가된 네트워크 규모 전반에 걸쳐 강력한 방어 성능을 유지할 수 있음을 보여주는 동시에, LLM 기반 제어의 이점을 실현하는 데 강력한 전술적 실행이 중요하다는 점을 시사합니다.

arXiv:2610.10942v2cs.AI공통 태그 Sequential Decision Making, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.02181v3cs.CV공통 태그 Reinforcement Learning, Large Language Model

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.15738v1cs.AI공통 태그 Sequential Decision Making, Large Language Model

보이지만 피하지 못함: 카탈로그 기반 LLM 최적화 루프에서 거부된 후보의 상태 의존적 재제안

Visible but Not Avoided: State-Dependent Re-Proposal of Rejected Candidates in Catalog-Based LLM Optimization Loops

LLM 최적화 루프는 흔히 프로포저(proposer)에게 이미 시도하고 거부한 후보들을 보여주지만, 이를 피하는 것은 프로포저 자신에게 맡긴다. 우리는 정적 프로브(probe)에서 측정된 회피가 옵티마이저(optimizer) 자신의 궤적이 만들어내는 상태에서의 회피를 예측하는지를 묻는다. 세 개의 오픈 LLM이 40개의 편집(edit) 중 하나를 지정하여 GUI 에이전트를 개선하는 카탈로그 기반 루프에서, 재제안(re-proposal)은 편집의 이름으로 정확하게 식별된다. 깨끗한 기본 상태 프로브는 프로포저 자신의 루프에서 나타나는 재제안을 과소 예측하며(매크로 평균 루프-마이너스-프로브 비율 0.32 [0.27, 0.37]), 이미 평가된 하네스(harness)-편집 쌍의 제안은 유효한 프로포저 반복(iteration)의 28~63%를 차지한다. 두 설정은 서로 다른 편집을 거부한다. 프로브에서 거부된 편집은 대부분 프로포저가 선택하지 않은 것들인 반면, 루프에서 거부된 편집은 프로포저 자신이 이전에 선택한 것들로서 이력(history)이 제거되어도 계속 선호된다. 일반적인 이력은 두 프로포저에서는 재제안을 낮추지만 세 번째 프로포저에서는 오히려 높이며, 실패 증거(failure evidence)의 효과는 모델에 따라 다르다. 거부 상태를 한 문장으로 명시하는 것은 모든 모델에서 재제안을 낮춘다(동일한 ID들의 중립적 목록 대비 -0.16 [-0.22, -0.09]). 정확한 편집 식별자를 가진 카탈로그 기반 루프의 경우, 거부 회피는 루프가 생성하는 거부 집합(rejected set)을 기준으로 측정되어야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.