LLM 기반 에이전트 추론 프레임워크: 방법론부터 적용 시나리오까지의 서베이
LLM-based Agentic Reasoning Frameworks: A Survey from Methods to Scenarios
한국어 초록
대규모 언어 모델(LLM) 기반 에이전트(agent)의 최근 발전은 다양한 방식으로 문제 해결 과정을 이끄는 추론 프레임워크의 중요성을 부각하고 있습니다. 본 서베이 논문은 이러한 프레임워크를 단일 에이전트, 도구 기반, 다중 에이전트 방법론이라는 세 가지 구성 수준에서 체계적으로 분류하기 위한 통일된 정형 언어를 도입합니다. 이 분류 체계에 따라 과학적 발견, 의료, 소프트웨어 공학, 사회, 경제, 범용 작업 전반에 걸친 주요 적용 시나리오를 검토합니다. 또한 각 범주의 뚜렷한 특징과 평가 전략을 비교합니다. 본 서베이는 이러한 분류 체계와 비교를 통해 다양한 시나리오에서 LLM 기반 에이전트 프레임워크의 설계와 강점을 탐구하며, 실제 환경에서 복잡한 에이전트 시스템이 빠르게 발전해 온 과정을 살펴봅니다.
원문 초록
Recent advances in LLM-based agents highlight the importance of their reasoning frameworks, which guide the problem-solving process in diverse ways. This survey introduces a unified formal language to systematically categorize these frameworks at three compositional levels: single-agent, tool-based, and multi-agent methods. Following our taxonomy, we review key application scenarios across scientific discovery, healthcare, software engineering, society, economics, and general-purpose tasks. It also compares the distinct features and evaluation strategies of each category. Through our taxonomy and comparisons, our survey explores the designs and strengths of LLM-based agentic frameworks in different scenarios, reviewing the fast-paced development of complex agentic systems in the real world.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
Inherit-MAS: 워크플로우 및 실행 상속을 통한 다중 에이전트 시스템의 테스트 시간 진화
Inherit-MAS: Test-Time Evolution of Multi-Agent Systems through Workflow and Execution Inheritance
대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)은 특화된 에이전트들을 조율하여 복잡한 작업을 해결하지만, 효과적인 워크플로우를 사전에 설계하기는 어렵습니다. 테스트 시간 진화(Test-time evolution)는 실행 피드백을 활용하여 워크플로우를 개선하지만, 광범위한 수정은 유용한 구성 요소를 손상시킬 수 있으며, 변경되지 않은 요청을 재실행하면 불필요한 연산이 발생할 수 있습니다. 생물학적 진화에서 상속과 선택의 상호작용에서 영감을 받아, 본 연구에서는 워크플로우 및 실행 수준에서 상속을 명시적으로 도입한 Inherit-MAS를 제안합니다. 먼저 메타 모델이 명시된 역할, 통신 입력, 도구 권한을 갖는 작업자 에이전트들의 워크플로우를 합성하고, 별도로 프롬프트가 제공된 평가자(judge)가 실행된 각 후보의 점수를 매기고 결함을 진단합니다. 일반적인 정제 라운드에서 워크플로우 상속(\emph{workflow inheritance})은 가장 최근에 완료된 후보에서 시작하여, 도움이 되지 않는다고 판단된 제거 가능한 노드를 폐기할 수 있으며, 진단된 결함을 해결하기 위해 검증된 수정을 적용합니다. 새로운 후보가 실행될 때, 실행 상속(\emph{execution inheritance})은 완전히 해결된 요청 및 실행 컨텍스트가 일치하는 경우에만 저장된 적격 결과를 상속하여 불필요한 모델 및 도구 호출을 방지합니다. GPT-4o-mini를 작업자로 사용했을 때, Inherit-MAS는 WorkBench에서 55.4% 완료율을, HotpotQA FullWiki에서 49.7% 결합 F1을 달성하여 EvoAgent, EvoMAS, TacoMAS를 능가했습니다. Qwen3-32B 작업자를 사용했을 때도 두 벤치마크 모두에서 이러한 진화형 MAS 베이스라인들을 능가했습니다. 실행 상속을 비활성화한 동일한 컨트롤러를 재실행한 것과 비교했을 때, 실행 상속은 WorkBench에서 작업자 토큰 사용량을 29.1%, HotpotQA에서 34.6% 줄였으며, 전체 토큰 사용량은 각각 5.3% 및 18.1% 감소시켰습니다.
자기 진화형 에이전트의 안전성: 서베이
Safety in Self-Evolving Agents: A Survey
대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.
오픈소스 LLM 기반 멀티에이전트 시스템의 이슈, 원인 및 해결 방안에 대한 이해
Understanding Issues, Causes and Solutions in Open-Source LLM-based Multi-Agent Systems
대규모 언어 모델(LLM) 기반 멀티에이전트 시스템(MAS)의 발전과 함께, 점점 더 많은 오픈소스 프로젝트들이 핵심 기능의 기반으로 멀티에이전트 아키텍처를 채택하고 있습니다. MAS에 대한 연구와 실무가 상당한 주목을 받고 있음에도 불구하고, 오픈소스 LLM 기반 MAS 실무자들이 겪는 어려움과 이러한 어려움의 원인 및 잠재적 해결 방안을 탐색한 연구는 제한적이었습니다. 이러한 공백을 해결하기 위해, 우리는 실무자들이 오픈소스 LLM 기반 MAS를 개발하고 활용할 때 마주치는 이슈, 이러한 이슈의 가능한 원인, 그리고 잠재적 해결 방안을 이해하기 위한 실증 연구를 수행했습니다. 우리는 21개의 오픈소스 LLM 기반 MAS에서 22,848개의 해결된(closed) 이슈를 수집하고, 자동화 및 수동 방식을 결합한 필터링 접근법을 적용하여 데이터셋을 LLM 기반 MAS와 관련된 944개 이슈로 축소했습니다. 그런 다음 이러한 이슈들을 분석하여 실무자들이 자주 겪는 이슈, 근본적인 원인 및 잠재적 해결 방안을 파악했습니다. 연구 결과에 따르면 (1) 조율 및 실행 이슈(Orchestration & Execution Issue)가 실무자들이 직면하는 가장 흔한 문제이며, (2) 워크플로우 문제(Workflow Problem), 도구 통합 문제(Tool Integration Problem), 메모리 문제(Memory Problem)가 이슈의 가장 빈번한 원인으로 확인되었고, (3) 워크플로우 최적화(Optimize Workflow)가 이슈에 대한 주된 해결 방안으로 나타났습니다. 연구 결과를 바탕으로, 우리는 LLM 기반 MAS의 오케스트레이션, 도구 통합 및 메모리 메커니즘 개선을 목표로 하는 실무자와 연구자를 위한 실증적 기반의 시사점을 도출했습니다.
연합 에이전트 최적화
Federated Agent Optimization
대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
69 pages,10 figures,13 tables. Work in progress