의료 비전-언어 모델(VLM) 평가는 워크플로 설계, 프롬프트 전략, 벤치마크 구성에 민감하지만, 대부분의 연구는 이러한 요인들을 개별적으로 다룹니다. 본 연구에서는 두 개의 균형 잡힌 데이터셋(비공개 보고서 기반 데이터셋 및 선별된 MIMIC 서브셋)을 기반으로 구축된 흉부 X선 판독을 위한 신뢰성 스트레스 테스트를 소개합니다. 세 가지 의료 VLM(CheXagent, MedGemma-4B, MedGemma-27B)을 세 가지 프롬프트 스타일과 두 가지 워크플로(단일 VLM 및 멀티 에이전트)에 걸쳐 평가하여 총 36개의 구성을 생성했습니다. 본 연구는 정확 일치(exact-match) 정확도만으로는 기본적으로 "정상(Normal)" 예측을 내놓는 보수적인 모델의 유효성이 과장될 수 있음을 보여줍니다. 진단 신뢰성 또한 모델 계열과 규모에 크게 의존하는데, 멀티 에이전트 추론은 일부 구성에는 도움이 되지만 다른 구성에는 오히려 해가 됩니다. 이러한 관찰을 바탕으로, 유익한 경우에만 멀티 에이전트 추론으로 선택적으로 이관하여 고정된 워크플로 대비 비용-품질 트레이드오프를 개선하는 결정 시점 라우팅(decision-time routing) 프레임워크를 제안합니다. 본 연구 결과는 임상 배포 전에 프롬프트 민감도, 실패 모드의 다양성, 워크플로 선택을 종합적으로 고려하는 평가 프로토콜의 필요성을 강조합니다.
추론은 추론(inference), 문제 해결, 의사결정의 기반이 되는 근본적인 인지 과정이다. 대규모 언어 모델(LLM)은 폐쇄 세계(closed-world) 설정에서 강한 추론 능력을 보이지만, 개방형·동적 환경에서는 어려움을 겪는다. 에이전트적 추론(agentic reasoning)은 LLM을 지속적 상호작용을 통해 계획하고 행동하며 학습하는 자율 에이전트로 재구성함으로써 패러다임 전환을 이룬다. 본 서베이에서는 에이전트적 추론을 세 가지 상보적 차원으로 정리한다. 먼저 환경 역학을 세 층으로 특성화한다: 핵심 단일 에이전트 능력(계획, 도구 사용, 안정 환경에서의 검색)을 확립하는 기초적 에이전트적 추론; 피드백·기억·적응을 통해 이러한 능력을 정교화하는 방법을 다루는 자기 진화형 에이전트적 추론; 조율, 지식 공유, 공유 목표를 포함하는 협업 설정으로 지능을 확장하는 집합적 다중 에이전트 추론. 이들 층 전반에서, 구조화된 오케스트레이션을 통해 테스트 시점 상호작용을 확장하는 문맥 내 추론(in-context reasoning)과, 강화학습 및 지도 미세조정을 통해 행동을 최적화하는 사후 학습 추론을 구분한다. 과학, 로보틱스, 의료, 자율 연구, 수학 등 실제 응용과 벤치마크에 걸친 대표적인 에이전트적 추론 프레임워크도 검토한다. 본 서베이는 에이전트적 추론 방법을 사고와 행동을 잇는 통합 로드맵으로 종합하고, 개인화, 장기 지평 상호작용, 세계 모델링(world modeling), 확장 가능한 다중 에이전트 학습, 실세계 배포를 위한 거버넌스 등 열린 과제와 향후 방향을 개괄한다.
최근 비디오 확산 모델의 발전으로 단일 피사체 애니메이션을 넘어 상호작용 논리에 대한 세밀한 제어를 요구하는 인간-객체 상호작용(HOI) 비디오 생성에 대한 관심이 높아지고 있다. 그러나 기존 HOI 방법은 명시적 모션 제어에 크게 의존하여, 다양한 객체와 상호작용에 대한 확장성과 일반화를 제한한다. 본 연구에서는 AgentHOI를 제안한다. 이는 생성 전 사고(thinking-before-generation) 프레임워크를 따르는 텍스트 기반 HOI 비디오 생성 방법으로, 지각, 상호작용, 모션 계획에 걸친 멀티 에이전트 추론을 통해 고수준 텍스트 의도와 물리적 실행 사이의 간극을 메운다. 생성된 상호작용 계획을 바탕으로 텍스트 기반 모션 이해를 더욱 강화한다. 암시적 텍스트-모션 정렬 전략을 도입하여 텍스트-모션 사전 지식을 비디오 확산 모델에 지식 증류함으로써, 추론 시 명시적 모션 입력 없이도 견고한 HOI 합성을 가능하게 한다. 실험 결과, AgentHOI는 착용 및 탑승과 같은 도전적인 객체 중심 시나리오에서 상호작용 자연스러움, 객체 외형 보존, 복잡한 텍스트 지시 준수를 크게 향상시킨다. 코드는 https://github.com/bone-11/agenthoi 에서 제공된다.
사고의 연쇄(Chain-of-Thought) 프롬프팅은 대규모 언어 모델(LLM)에서 단계별 추론을 대중화했지만, 문제 복잡도와 컨텍스트 길이가 증가함에 따라 모델 성능은 여전히 저하된다. 긴 컨텍스트를 가진 어려운 작업을 더 짧고 관리 가능한 작업으로 분해함으로써, 최근의 다중 에이전트 패러다임은 이 문제에 대한 유망한 단기적 해결책을 제공한다. 그러나 이러한 시스템의 근본적 역량은 잘 이해되지 않았다. 본 연구에서는 다중 에이전트 시스템의 표현력을 분석하기 위한 이론적 프레임워크를 제안한다. 우리는 이 프레임워크를 세 가지 알고리즘군—상태 추적(state tracking), 회상(recall), $k$-hop 추론—에 적용한다. (i) 작업을 정확히 풀기 위해 필요한 에이전트 수, (ii) 에이전트 간 통신의 양과 구조, (iii) 문제 크기와 컨텍스트 규모에 따른 달성 가능한 가속화에 대한 상한을 도출한다. 우리의 결과는 통신이 증명 가능하게 유익한 영역을 식별하고, 에이전트 수와 대역폭 간의 트레이드오프를 구분하며, 어느 한 자원이 제약될 때 내재적 한계를 드러낸다. 우리는 통제된 합성 벤치마크를 사용하여 사전학습된 LLM에 대한 일련의 실험으로 이론적 분석을 보완한다. 실증 결과는 우리 이론이 예측한 핵심량 간 트레이드오프를 확인한다. 종합적으로, 우리의 분석은 확장 가능한 다중 에이전트 추론 시스템을 설계하기 위한 원칙적 지침을 제공한다.
현대 소프트웨어 시스템의 장애 진단은 운영 경험에 의해 안내되는 반복적인 증거 수집과 가설 추론을 필요로 한다. 기존의 대규모 언어 모델(LLM) 기반 방법들은 에이전트(agent) 추론 또는 지식 증강을 통해 진단 성능을 향상시키지만, 반복적인 진단 과정에서 진화하는 진단 상태와 운영 경험을 조율하는 메커니즘이 부족한 경우가 많다. 우리는 현재 진단 상태를 위한 단기 메모리와 재사용 가능한 운영 경험을 위한 장기 메모리를 유지하는 이중 메모리 프레임워크인 OpsMem을 제안한다. OpsMem은 교차 메모리 공명(cross-memory resonance)을 사용하여 상태와 관련된 장기 메모리를 활성화하고, 단기 메모리와 활성화된 장기 메모리를 기반으로 멀티 에이전트 진단을 수행하며, 해결된 인시던트로부터 재사용 가능한 경험을 장기 메모리로 통합한다. 실제 Huawei 마이크로서비스 장애 진단 데이터셋(dataset)에 대한 실험에서 OpsMem은 대표적인 에이전트 추론 및 지식 증강 기준선(baseline)들을 능가하며, 가장 강력한 기준선 대비 Match와 Relevant 지표를 각각 최대 46.88%, 18.39%까지 향상시켰다.
다중 에이전트 앙상블은 활성 파라미터와 추론 비용을 배가시키면서도 세 가지 기본 질문에 답하지 못한다: 어떤 에이전트를 참조할지, 쿼리가 에이전트 계층 구조를 얼마나 깊이 탐색해야 하는지, 그리고 에이전트 간 통신이 그 비용을 감수할 만한 가치가 있는 시점이 언제인지. 우리는 GRADE(Gated Routing and Adaptive Depth for Efficient Reasoning)를 제시한다. GRADE는 4개의 경량 학습된 게이트가 에이전트 선택, 계층 깊이, 에이전트 간 통신, 가지치기를 공동으로 제어하는 계층적 다중 에이전트 시스템이다. 학습에는 CoGRPO(Collaborative Group-Relative Policy Optimization)를 사용하는데, 이는 GRPO를 다중 에이전트 계층 구조에 적응시키고 롤아웃에 참여한 모든 게이트와 에이전트에 공유 이점 신호를 부여하는 비평가 없는(critic-free) 새로운 방법이다. 에이전트 모델은 교체 가능한(hot-swappable) 전문가 레지스트리(Expert Registry)에서 가져오며, 에이전트별 캘리브레이션 맵을 통해 추론 시점에 재학습 없이 전문가를 교체할 수 있다. 평균 활성 파라미터 약 170억 개 규모에서 GRADE는 GSM8K, MMLUPro, GPQA의 모든 기준선을 능가하며, MMLUPro에서 가장 강력한 기준선보다 절반의 활성 컴퓨팅으로 4.8점 앞선다. 모델 깊이가 지배적인 AIME-2025에서는 기존 프레임워크와 경쟁력을 유지한다. 절제 연구(ablation)를 통해 계층 구조와 마스크된 크로스 어텐션이 정확도 향상에 가장 크게 기여하며, 에이전트별 캘리브레이션이 안전한 교체를 위해 필수적임을 확인한다.
AI 추론은 대규모 언어 모델(LLM)의 성공에 힘입어 현대 인공지능의 핵심 연구 주제로 부상하였다. 그러나 수학 연구는 비선형적인 유도 경로, 엄밀한 논리적 요구사항, 그리고 장기간의 탐험 주기를 특징으로 하기 때문에 기존 추론 시스템에 심각한 도전을 제기한다. 이러한 한계를 극복하기 위해 본 논문에서는 수학 연구의 전 주기에 걸쳐 코파일럿 역할을 수행하도록 설계된 LLM 기반 에이전트인 MechMath Agent Team(MMAT)을 제안한다. 우리는 시스템 책임을 제어(Control), 실행(Execution), 증강(Augmentation) 플레인으로 분리하는 삼중 Harness 아키텍처를 설계함으로써, 엄밀한 논리적 제어와 개방형 연구가 요구하는 민첩성을 조화롭게 결합하였다. 이 프레임워크를 기반으로 지식 베이스 관리자(Knowledge Base Manager), 자연어 증명기(Natural Language Prover), 형식 언어 증명기(Formal Language Prover)의 세 가지 전문 에이전트를 구현하였으며, 이들은 폐쇄 루프 내에서 협력하여 형식적으로 인증된 수학적 증명을 생성한다. MMAT을 정수론, 대수적 복잡도 이론, 미분 대수, 작용소 대수, 부등식 분야의 미해결 문제들에 대해 평가하였다. 두 달간의 배포 기간 동안 11개의 문제가 해결되어, 전체 연구 주기에 걸친 코파일럿으로서의 역량이 입증되었다. 본 연구의 기여는 세 가지로 요약된다: 다중 에이전트 수학적 추론을 위한 범용 분리형 Harness 아키텍처, MMAT 시스템에서의 구체적인 구현, 그리고 다양한 미해결 문제들에 대한 실증적 검증.
현재의 멀티모달 융합 접근법, 특히 정적 전문가 혼합(MoE) 아키텍처에 기반한 방법들은 복잡한 실제 응용에서 요구되는 적응적이고 효율적인 협력적 추론을 제공하는 데 어려움을 겪는 경우가 많다. 본 논문에서는 멀티모달 융합을 동적이고 다중 에이전트 협력 프로세스로 재개념화하는 동적 에이전트 기반 상호작용 네트워크(DAIN)를 소개한다. DAIN은 컨텍스트 인식 메타-컨트롤러(Meta-Controller)를 활용하여 특화된 상호작용 에이전트의 희소 활성화를 동적으로 스케줄링하고, 합의 형성을 위해 압축된 에이전트 간 통신을 조율한다. 이 프레임워크는 희소 활성화 및 통신 정규화를 통해 태스크 정확도, 에이전트 특화, 운영 효율성을 공동으로 최적화하는 다목적 손실 함수에 의해 guided된다. ADNI, MIMIC-IV, MM-IMDB, CMU-MOSI, ENRICO 등 다섯 가지 다양한 벤치마크에 걸친 포괄적인 평가를 통해 DAIN은 새로운 최첨단 성능을 확립하였으며, ADNI에서 2.6%의 정확도 향상을 포함한 유의미한 성능 개선을 달성하였다. ablation 연구는 동적 스케줄링과 에이전트 통신 모두의 핵심적인 역할을 검증한다. 또한 DAIN은 샘플별 희소 에이전트 활성화를 통해 계산 효율성을 유지하면서, 컨텍스트에 의존적인 에이전트 역할과 협력 패턴을 노출함으로써 향상된 해석 가능성을 제공한다. 본 연구는 멀티모달 추론을 위한 동적 에이전트 기반 패러다임의 가능성을 입증한다.
Chain-of-Thought (CoT) improves large language models (LLMs) on difficult reasoning tasks, but it often incurs long natural-language rationales that are poorly aligned with efficient machine reasoning. We propose Communicative Language Symbolism Routing (CLSR), a test-time framework in which multiple LLM agents autonomously invent, evolve, and share compact Language Symbolism Frameworks (LSFs), while a latent-free router adaptively selects and composes these languages per query to optimize the accuracy-token trade-off. Unlike prompt optimization that refines surface instructions, CLSR treats each LSF as a reusable symbolic protocol with compact symbols, usage rules, and a message-passing contract, and improves it through an evolutionary loop driven by correctness and token cost. At inference time, the router may invoke a single low-cost LSF call, ensemble multiple LSFs, or execute a multi-round LSF composition protocol on harder queries. Across challenging benchmarks, CLSR reduces latency-oriented generated token completion by $3\sim 6\times$ compared to standard CoT while maintaining accuracy. We further derive an information-theoretic lower bound on token cost under arbitrary symbolism and show that, under an interpreter-realizability premise, multi-round LSF protocols conditionally subsume program-execution pipelines. Code is publicly available (https://github.com/pzqpzq/LSF_MDia).
기존의 이원적(dyadic) 사회 추론 게임이 LLM의 마음 이론(Theory of Mind) 능력을 충분히 평가하지 못한다는 문제를 해결하기 위해, 투표로 추방될 때 승리하는 역전된 유틸리티를 가진 조커(Jester) 세력을 늑대인간 게임에 추가한 삼각 유인 구조 벤치마크를 제안한다. GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B 대상 60판 실험에서 조커가 60~70%의 게임을 승리한 반면 늑대인간은 20%를 넘지 못했으며, DeepSeek만이 의도적으로 의심스럽게 보이지 않으면서 의심을 끄는 미묘한 전략을 학습해 자기학습 루프에서 가장 큰 이득을 얻었다.
다중 에이전트 추론은 여러 에이전트가 다양한 추론 경로를 탐색하도록 함으로써 대규모 언어 모델(LLM)의 문제 해결 능력을 향상시키는 데 유망함을 보여 주었다. 그러나 기존 다중 에이전트 방법의 대부분은 추론 시점의 토론이나 집계에 의존하며, 이는 잘못된 동료 영향과 편향된 합의에 취약할 수 있다. 또한 에이전트 자체는 정적(static)으로 남아 있어, 기반 추론 스킬이 과제 간에 진화하지 않는다. 본 논문에서는 다중 에이전트 추론 스킬을 진화시키기 위한 입자 군집 최적화(PSO) 영감 프레임워크인 AgentPSO를 제안한다. AgentPSO는 각 에이전트를 입자와 유사한 추론자로 취급하며, 그 상태는 자연어 스킬이고 속도(velocity)는 의미적 갱신 방향이 되어, 에이전트를 더 높은 성능의 스킬 구성으로 반복적으로 안내한다. 학습 반복(iteration)에 걸쳐 각 에이전트는 이전 속도, 개인 최적(personal-best) 스킬, 전역 최적(global-best) 스킬, 그리고 동료 추론 궤적에서 유도된 자기 성찰(self-reflective) 방향을 결합하여 스킬을 갱신한다. 이를 통해 에이전트는 백본 언어 모델의 매개변수를 갱신하지 않고도, 자신의 경험과 집단에서 발견된 가장 강력한 스킬을 활용하여 재사용 가능한 추론 행동을 학습할 수 있다. 수학 및 일반 추론 벤치마크에서의 실험은 AgentPSO가 정적 단일 에이전트 스킬 및 테스트 시점 전용(test-time-only) 다중 에이전트 추론 기준선(baseline)보다 우수함을 보여준다. 진화된 스킬은 또한 벤치마크 간 및 다른 백본 모델로 전이(transfer)되어, AgentPSO가 벤치마크별 프롬프트를 단순히 최적화하는 것이 아니라 재사용 가능한 추론 절차를 포착함을 시사한다. 코드는 https://github.com/HYUNMIN-HWANG/AgentPSO/ 에서 공개적으로 이용할 수 있다.
Mixture-of-Agents (MoA) architectures improve inference-time scaling by organizing multiple LLM agents into layered reasoning pipelines. However, existing MoA variants fail to sustain gains as depth increases, exhibiting degradation, early plateauing, or saturation. We propose ReM-MoA, a memory-augmented MoA framework that sustains scaling through two mechanisms: (1) a Ranked Reasoning Memory that persistently stores and ranks reasoning traces from all layers using a comparative Reviewer Agent, and (2) a Curated Diversified Memory Routing scheme that exposes different agents to distinct combinations of successful and failed traces, preserving exploration diversity while propagating high-quality reasoning. We further introduce an optional multi-domain Reviewer distillation pipeline that improves ranking quality through frontier-model supervision. Across five reasoning benchmarks spanning math, formal logic, code, knowledge, and commonsense, ReM-MoA consistently outperforms prior MoA variants across both depth and width scaling, and its advantage widens with depth, establishing structured cross-layer reasoning memory as a key missing mechanism for scalable multi-agent inference.
대규모 언어 모델(LLM)은 방대한 파라메트릭 지식과 문맥 내 학습(ICL) 능력을 모두 활용하여 입력 프롬프트에 제공된 외부 정보를 통합함으로써 다양한 언어 기반 작업에서 강력한 성능을 달성했습니다. 그러나 외부 지식의 통합은 모델의 내부 파라메트릭 지식과 외부 정보 사이뿐만 아니라 여러 외부 문맥 간에도 충돌을 야기할 수 있습니다. 기존 접근 방식은 일반적으로 모델이나 제공된 문맥 중 하나가 신뢰할 수 있다고 가정하며, 두 소스 모두 오류를 포함할 수 있다는 가능성을 간과합니다. 또한 불일치를 적극적으로 해결하기보다는 한 소스를 다른 소스보다 우선시하여 충돌을 회피합니다. 이러한 한계를 해결하기 위해, 우리는 기존의 이진 선택 패러다임을 넘어서고 멀티 에이전트 추론 접근법에 기반한 명시적 충돌 해결 메커니즘을 통합하는 LLM 지식 충돌 해결을 위한 새로운 프레임워크인 MACR을 제안합니다. 구체적으로, 우리는 먼저 수정된 의미론적 엔트로피 측정을 사용하여 주어진 질의에 대한 LLM의 답변 신뢰도를 정량화하는 적응형 지식 평가 및 검색 접근법을 제안합니다. 이 신뢰도 추정을 기반으로, MACR은 내부 지식이 불충분할 때 모델의 내부 지식을 텍스트 표현으로 외부화하거나 관련 외부 지식을 검색하여 후속 추론을 위한 기본 문맥을 생성합니다. 그런 다음 우리는 각각 명시적 규칙을 유도하고, 잠재적 충돌을 분석하며, 사용 가능한 모든 문맥에서 불일치를 해결하는 세 가지 전문화된 에이전트를 포함하는 귀납적 멀티 에이전트 추론 프레임워크를 도입합니다. 실험 결과에 따르면 MACR은 벤치마크 전반에서 최신 기준(SOTA) 모델보다 유의미하게 우수한 성능을 보이며, 명시적 충돌에 대한 해석 가능한 해결책을 제공합니다.
이미지 분류는 전통적으로 매개변수 집약적인 모델 학습에 의존해 왔으며, 경쟁력 있는 성능을 달성하기 위해 대규모 주석 데이터셋과 광범위한 파인튜닝이 필요했습니다. 최근 비전-언어 모델(VLMs)이 이러한 제약 중 일부를 완화하지만, 여전히 단일 패스 표현에 의존한다는 점에서 제한적이며, 종종 시각적 콘텐츠의 상호 보완적인 측면을 포착하지 못합니다. 본 논문에서는 이미지 분류를 협업적 추론 과정으로 재정의하는 멀티 에이전트 프레임워크인 MARIC(Multi Agent based Reasoning for Image Classification)을 소개합니다. MARIC는 먼저 Outliner Agent를 활용하여 이미지의 전반적인 주제를 분석하고 목표 지향적인 프롬프트를 생성합니다. 이러한 프롬프트를 기반으로 세 개의 Aspect Agent가 서로 다른 시각적 차원에 따라 세분화된 설명을 추출합니다. 마지막으로 Reasoning Agent가 통합된 반성 단계를 통해 이러한 상호 보완적인 출력을 종합하여 분류를 위한 통합된 표현을 생성합니다. MARIC는 작업을 명시적으로 여러 관점으로 분해하고 반성적 종합을 장려함으로써, 매개변수가 많은 학습과 단일 VLM 추론의 단점을 완화합니다. 4개의 다양한 이미지 분류 벤치마크 데이터셋에 대한 실험을 통해 MARIC가 베이스라인을 상당히 능가함을 입증하며, 이는 강건하고 해석 가능한 이미지 분류를 위한 멀티 에이전트 시각적 추론의 효과를 강조합니다.
입장 탐지(stance detection)는 저자의 특정 대상에 대한 입장을 식별하는 작업으로, 입장이 암시적, 간접적이거나 수사적으로 표현된 단문 텍스트(short-form texts)에서 수행되는 경우가 많습니다. 대규모 언어 모델(LLM)이 이 작업에서 뛰어난 성능을 보이지만, 여러 가지 해석이 가능한 상황에서는 단일 패스 프롬프팅(single-pass prompting)이 취약할 수 있습니다. 다수결 투표(majority voting)나 자기 일관성(self-consistency)과 같은 기존 집계 전략은 레이블을 결합하여 견고성(robustness)을 높이지만, 상충하는 해석을 해결하는 데 필요한 중간 추론 과정은 무시합니다. 본 연구에서는 입장 탐지를 위해 집계 방식을 레이블 수준 투표에서 추론 수준 종합(reasoning-level synthesis)으로 전환하는, 적응형 워커 할당(adaptive worker allocation) 기반 멀티 에이전트 추론 프레임워크를 제안합니다. 해당 프레임워크는 매니저-워커(Manager-Worker) 아키텍처를 채택하여, 매니저(Manager)가 입력의 복잡도에 따라 가변적인 수의 워커(Worker) 에이전트를 적응적으로 할당합니다. 각 워커는 서로 다른 관점에서 입력을 분석하여 입장 레이블(stance label)을 생성하지 않고 추론 전용 설명만을 산출하며, 매니저는 이러한 설명들을 종합하여 최종 예측을 수행합니다. Llama, Mistral, Gemini 모델을 사용하여 SemEval-2016, P-Stance, COVID-19 Stance 데이터셋에서 제안된 프레임워크를 평가했습니다. 결과에 따르면, 해당 프레임워크는 암시적이고 문맥 의존적인 입장 사례에서 가장 큰 성능 향상을 보여주었으며, COVID-19에서 86.07 Macro-F1, SemEval-2016에서 82.90의 점수를 달성했습니다. 또한 P-Stance와 같이 입장이 더 명시적인 데이터셋에서도 경쟁력 있는 성능을 유지했습니다. 이러한 결과는 표면적 단서(surface cues)만으로는 입장을 신뢰할 수 있게 추론하기 어려운 경우에 적응형 추론 수준 집계가 가장 효과적임을 시사합니다.