The rapid integration of Large Language Models (LLMs) has driven the evolution of Multi-Agent Systems (MAS), where specialized agents collaborate to execute complex workflows. Effective orchestration in these environments requires robust routing mechanisms to efficiently allocate tasks to the most suitable agent. However, existing routers fundamentally rely on unverified proxies, ranging from textual self-descriptions to static surrogate representations, to gauge an agent's competence. This reliance on non-empirical data creates a critical gap between an agent's projected profile and its actual operational capabilities, introducing severe security vulnerabilities. Malicious agents can easily misrepresent their proficiencies or harbor covert backdoors that evade both standard external analysis and static representation-learning techniques. In this work, we introduce ANTAP (Automatic Non-Textual Agent Picker), an evaluation-driven routing architecture that discards indirect proxies in favor of active capability testing. By dynamically querying agents to ascertain their true competencies empirically, ANTAP distills performance into fixed behavioral operators within a shared semantic space. At inference time, routing is performed via a purely non-textual algebraic projection, establishing a "linguistic firewall" that renders metadata-based attacks inexpressible. In our experiments, ANTAP achieves near-zero ASR against description-based injection attacks, compared to 67.3\% and above for the description-based router baseline. Against adaptive embedding attacks, ANTAP achieves substantially lower ASR than the embedding-based baseline, with a 20\% reduction, while remaining resilient to description manipulation by design.
AI 에이전트가 다중 에이전트 환경에서 점점 더 큰 자율성으로 작동함에 따라, 상호 이익을 창출하기 위해 다른 에이전트 및 인간과 협력하는 방법을 학습해야 할 것이다. 그러나 협력의 비용은 종종 초기에 발생하는 반면 이익은 나중에만 실현되므로 배반(defect) 유인이 생겨 협력은 어려운 과제이다. AI 에이전트는 어떻게 약속(commitment)을 통해 협력할 수 있는가? 본 연구에서는 인류 사회가 이러한 유형의 위임-대리인(principal-agent) 문제를 해결하는 데 사용해 온 법률 제도와 계약(contracting)에서 영감을 얻는다. 계약은 약정의 관찰 가능한 표현을 제공하며, 조건의 집행을 통해 신뢰할 수 있는 약속(credible commitments)을 가능하게 한다. 우리는 목표를 향한 탐색(navigation)과 협상(bargaining)을 결합한 시공간(spatial-temporal) 게임 CT에서 대규모 언어 모델(LLM) 기반 에이전트를 사용하여 계약 기반 협력의 역할을 연구한다. 코드로 컴파일되는 형식 계약(formal contracts)부터 재해석이 필요한 자연 계약(natural contracts)까지 다양한 계약 표현을 연구한다. 서로 다른 크기와 제공자(provider)를 사용하는 다양한 LLM 백본을 갖춘 에이전트를 평가한다. 자기 협상 계약(self-negotiated contracts)이 일반적인 거래(regular trading)만으로는 가능한 수준을 넘어 협력적 결과를 개선할 수 있음을 발견한다.
다중 스트림(multi-stream) 로봇 조작 정책은 환경 기준 좌표계에 대한 상대적 행동을 모델링함으로써 비교할 수 없는 샘플 효율성과 일반화 성능을 달성한다. 그러나 기존 접근법은 일반적으로 이러한 좌표계가 엄격히 외생적(exogenous)이라고 가정한다. 단일 로봇 팔이 움직이는 물체를 조작하거나 두 팔이 협조할 때처럼, 각 팔이 사실상 상대방의 동적 환경의 일부가 되는 동적 설정에서는 이러한 인과적 가정이 무너진다. 우리는 DynaMAC을 제안한다. 이는 다중 스트림 정책의 샘플 효율성, 계산 속도, 유연성을 유지하면서 이러한 인과적 한계를 해결하는 경량의 정책 독립적(policy-agnostic) 프레임워크이다. DynaMAC은 반대쪽 팔을 동적 작업 매개변수로 취급하여, 명시적인 리더-팔로워(leader-follower) 관계 없이 동적 조작과 양손 협조에 대한 통합 공식화를 제공한다. 이러한 능력을 엄격히 평가하기 위해, 동적 환경에서의 로봇 조작을 위한 새로운 벤치마크인 DynaBench를 도입한다. 동적 환경과 양손 조작 작업 모두에서 DynaMAC은 20배 적은 샘플을 필요로 하면서도 선도적인 확률적 및 생성형 베이스라인을 35%p 이상 능가한다. 중요하게도, DynaMAC은 정적 시연에서 동적 환경으로 제로샷(zero-shot) 일반화를 수행하여 데이터 수집을 크게 단순화하고 인간-로봇 협력을 향한 우아한 다리를 마련한다.
동일한 마르코프 결정 과정(MDP)과 상호작용하는 여러 에이전트가 포함된 분산형 강화학습 문제를 조사한다. 에이전트는 네트워크를 통해 정보를 교환하여 최적 상태-행동 가치 함수를 공동으로 학습할 수 있다. 이 설정을 위해, 각 에포크 내에서 에이전트가 벨만 최적성 연산자를 국소적으로 추정하고 합의 기반 프로토콜을 사용하여 정보를 확산하는 VRDQ라는 새로운 에포크 기반 분산 $Q$-학습 알고리즘을 제안한다. 정적 및 시변 네트워크 모두에 대해, 협력으로부터 선형 속도 향상(linear speedups)을 누리는 VRDQ의 고확률 유한 시간 수렴률을 확립한다. 중요하게도, 표본 복잡도(sample-complexity)에서의 이러한 속도 향상이 $\tilde{O}(1)$의 통신만을 필요로 함을 증명하며, 이는 기존 연구의 통신 비용을 크게 개선한다.
날씨 및 기후 모델은 격자 미해상(sub-grid) 과정을 표현하기 위해 매개변수화(parametrisation)에 의존한다. 기존 방식은 약하게 제약된 고정 계수에 의존하며 오프라인으로 조정되어, 기본 물리에 적응하는 능력을 제한하는 지속적인 바이어스에 기여한다. 본 연구는 강화학습(RL)을 사용하여 진화하는 모델 상태의 함수로 매개변수화 방식의 구성 요소를 온라인으로 학습하는 프레임워크를 제시하고, 단순 기후 바이어스 보정(SCBC), 복사-대류 평형(RCE), 단일 에이전트 및 연합 다중 에이전트 설정의 연평균 에너지 균형 모델(EBM)에 걸친 이상화된 테스트베드에서 정책 기반 매개변수 갱신을 평가한다. 9개 RL 알고리즘 중 Truncated Quantile Critics(TQC), Deep Deterministic Policy Gradient(DDPG), Twin Delayed DDPG(TD3)가 가장 높은 스킬과 안정적인 수렴을 달성했으며, 성능은 면적 가중 RMSE, 온도 및 기압면 진단을 사용해 정적 기준선 대비 평가되었다. EBM의 경우 단일 에이전트 RL이 정적 매개변수 조정을 능가했으며, 열대 및 중위도 대역에서 가장 큰 이득을 보였고, 다중 에이전트 설정에서의 연합 RL은 특화된 제어와 더 빠른 수렴을 가능하게 했으며, 빈번한 집계를 사용하는 6-에이전트 DDPG 구성이 열대 및 중위도 전역에서 가장 낮은 면적 가중 RMSE를 산출했다. 학습된 보정은 또한 물리적으로 의미 있었는데, 에이전트가 EBM 복사 매개변수를 조절하여 자오(meridional) 바이어스를 줄였고, RCE 기온 감률(lapse rate)을 조정하여 수직 온도 오차에 맞췄으며, 가열 증분을 안정화하여 드리프트를 제한했다. 전반적으로 결과는 RL이 이상화된 설정에서 효과적인 상태 의존 매개변수화 구성 요소를 학습할 수 있음을 보여주며, 수치 모델 내 온라인 학습을 위한 확장 가능한 경로와 날씨 및 기후 모델에서의 평가를 위한 출발점을 제공한다.
Network operators' changing policies, service requirements, and stringent real-time constraints render existing methods designed with fixed objectives and constraints ineffective. This paper presents Agentic long-term performance optimization (Agentic-LTPO), a nested bilevel optimization framework that can be applied to adaptive physical layer problem configuration. The key idea is to employ agentic AI to generate upper-level configurations in a bilevel optimization structure, where evolving operator policies, environment summaries, and historical experiences are translated into structured lower-level optimization problem configurations. The lower level solves the problems with updated configurations for real-time physical-layer decisions. Considering cell-free MIMO beamforming as a use case, we embody Agentic-LTPO by designing a new multi-agent decision process with retrieval-augmented experience-based verification in the upper level, together with a closed-form beamformer in the lower level. Experiments demonstrate that Agentic-LTPO exhibits strong adaptability to dynamic operator policies and effectively enhances the system's long-term performance by 57.2% compared to traditional methods.
중앙화된 가치 학습은 다중 에이전트 강화학습(MARL) 방법의 넓은 범위를 기반으로 하지만, 그 주장된 이점은 일반적으로 협조 구조를 함수 근사와 부분 관측성과 혼동하는 설정에서 평가된다. 우리는 명시적인 속도 및 스태미나(stamina) 제약이 있는 완전 표 형식(tabular) 8×8 포식자-먹이 그리드월드에서 협조 구조를 분리하여, 10개 시드에 걸쳐 세 가지 운동학적 체제에서 독립 Q-러닝과 중앙화 Q-러닝의 네 가지 조합을 모두 비교한다. 완전 독립 학습(IQL-IQL)은 모든 체제와 모든 시드에서 완전 중앙화 구성(CQL-CQL)보다 더 짧은 에피소드와 더 높은 포식자 보상을 산출한다(Wilcoxon p = 0.00195, Cliff's delta = 1.0). 비대칭 IQL-CQL 조합은 일시적 불안정으로 해소되기보다 40,000 에피소드 학습 예산 전체에 걸쳐 지속되는 협조 붕괴를 유발한다. 고정된 IQL-IQL 포식자에 대한 최적 반응(best-response) 테스트는 가장 강한 구성조차 40k 에피소드에서 균형(equilibrium)에 수렴하지 않았음을 보여주므로, 구성 간 차이는 종국 성능이 아니라 공유 예산 하의 학습 역학을 반영한다. 우리는 시간적 동기화 잠금(temporal synchronization lock)이라 부르는 메커니즘을 제안한다: 공유 가치 함수가 모든 에이전트 결정을 결합하므로, 한 에이전트가 스태미나 제한을 받을 때 공동 Q-값이 능력 있는 파트너를 차선의 대기로 강제하는 반면, 독립 학습자는 비동기 추적을 계속한다. 이 병리는 함수 근사가 아니라 크레딧 할당(credit assignment)에서 기인하므로, 학습 중 크레딧을 중앙화하는 딥 MARL 방법에서도 유사한 효과가 나타날 수 있다고 추측한다. 중앙화된 협조는 균일하게 유익하지 않다; 독립 학습에 대한 그 이점은 체화(embodiment) 제약 하에서 축소되거나 사라지며, 중앙화-독립 혼합 조합은 균일한 선택 어느 쪽보다 성능이 나쁠 수 있다.
대규모 언어 모델(LLM)이 대화형 시스템의 엔진이 되면서, 대화 상대의 의도와 상태를 추론하는 능력(즉, 마음 이론(theory-of-mind, ToM)을 형성하고 활용하는 능력)은 잠재적으로 적대적인 상대와의 안전한 상호작용에 점점 더 중요해지고 있다. 우리는 새로운 프라이버시 주제의 ToM 과제인 ToM for Steering Beliefs(ToM-SB)를 제안한다. 이 과제에서 방어자는 이중 에이전트(Double Agent)로서 공유된 세계관 안에서 부분적 사전 지식을 가진 공격자의 믿음을 유도해야 한다. ToM-SB에서 성공하려면 방어자는 공격자와 상호작용하며 공격자에 대한 ToM을 형성해야 하며, 목표는 공격자가 민감한 정보 추출에 성공했다고 믿도록 속이는 것이다. Gemini3-Pro, GPT-5.4와 같은 강력한 프론티어 모델도 ToM-SB에서 어려움을 겪으며, 공격자의 믿음에 대해 추론하도록 유도하는 ToM 프롬프팅(ToM prompting)을 사용하더라도 공격자가 부분적 사전 지식을 가진 어려운 시나리오에서 공격자를 속이지 못하는 경우가 많다. 이 격차를 줄이기 위해, 우리는 강화학습으로 ToM-SB에서 AI 이중 에이전트로 행동하도록 모델을 학습시키며, 속이기 성공 보상과 ToM 보상을 모두 검증한다. 주목할 점은, ToM과 공격자 속이기 사이에 양방향적으로 창발적(emergent) 관계가 있다는 것이다. 속이기 성공만 보상하면 ToM이 향상되고, ToM만 보상하면 속이기가 향상된다. 서로 다른 강도의 네 가지 공격자, 여섯 가지 방어자 방법, 그리고 분포 내 및 분포 외(OOD) 평가 모두에서 ToM과 공격자 속이기의 향상이 잘 상관관계를 보이며, 믿음 모델링이 ToM-SB에서의 성공의 핵심 동인임을 보여준다. ToM과 속이기 보상을 결합한 AI 이중 에이전트가 가장 강한 속이기 및 ToM 성능을 달성하며, 어려운 시나리오에서 ToM 프롬프팅을 적용한 Gemini3-Pro와 GPT-5.4를 능가한다. 또한 ToM-SB와 AI 이중 에이전트를 더 강한 공격자로 확장할 수 있음을 보여, OOD 설정으로의 일반화와 우리 과제의 확장 가능성을 입증한다.
신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.
안전한 고급 항공 이동성(Advanced Air Mobility, AAM) 운용은 감시 정보가 노이즈가 있거나, 지연되거나, 불완전하거나, 일시적으로 이용 불가능할 때 항공기가 분리(separation)를 유지해야 한다. 본 연구는 구조화된 3차원 회랑 내에서 운용되는 이질적인 소형 무인 항공기와 전기 수직 이착륙(eVTOL) 항공기 간 분산형 충돌 해소를 위한 심층 Q 네트워크 기반 다중 에이전트 강화학습 프레임워크를 개발한다. 두 항공기 유형에 대해 각각 국부 관측과 항로 유지, 선회, 수직 기동, 착륙, 속도 제어를 포함하는 14개 행동 공간을 사용하여 별도의 정책을 학습한다. 시뮬레이션에는 항공기별 동역학, 에너지 사용, 회랑 제약, 관측 노이즈, 통신 지연, 정보 드롭아웃, 바람 교란, 액추에이터 불확실성, 모델 불확실성이 포함된다. 학습된 정책은 교통 밀도와 최소 분리 임계값의 90가지 조합에 걸쳐 평가된다. 분리 상실(loss-of-separation) 빈도와 지속 시간은 일반적으로 교통 밀도와 분리 요구사항이 증가함에 따라 증가하지만, 대부분의 사건은 1초 이내에 해소된다. 안전한 조건 하에서 에이전트는 시간의 약 79% 동안 운동을 유지한다. 충돌 상황에서는 선회가 행동의 33%를 차지하며, 운동 유지 29%, 속도 제어 25%, 수직 기동 13%가 뒤를 잇는다. 6개의 파레토 최적 구성은 안전성과 회랑 용량 간의 트레이드오프를 보여준다. 이 프레임워크는 저하된 감시 조건 하에서 더 안전한 AAM 충돌 해소 전략의 시뮬레이션 기반 평가를 지원한다.
도시 지하 케이블 공사는 전력망 신뢰성 향상에 필수적이지만, 높은 공사 비용으로 인해 체계적인 최적화가 필요하다. 도로망 인프라의 제약 하에서 이 문제는 변전소 간 연결 관계와 도로망을 따른 구체적인 경로 전략을 모두 고려해야 하며, 이는 대규모 이중 수준(bilevel) 조합 최적화 문제를 구성한다. 기존 연구에서 경로 부문제에 대한 관심 부족과 대규모 최적화에 부적합한 단순한 알고리즘 설계는 여전히 상당한 개선 여지를 남긴다. 방대한 조합 탐색 공간을 탐색하기 위해, 우리는 네 가지 핵심 구성 요소를 통합한 학습 보조 가변 이웃 탐색(L-VNS) 알고리즘을 제안한다. 첫째, 상위 수준 연결 부문제에 초점을 맞춘 보조 과제가 연결 최적화를 위한 하이브리드 유전 탐색과 상세 경로 배선을 위한 A*를 활용하여 고품질 초기 해를 생성한다. 이후, 알고리즘은 세 가지 상보적 연산자를 갖춘 가변 이웃 탐색을 사용하여 연결 토폴로지를 반복적으로 정제한다. 다중 에이전트 심층 강화학습 모듈이 상위 수준 연결 패턴과 하위 수준 경로 구조를 공동으로 인코딩하여 확률적 이웃 샘플링을 적응적으로 안내함으로써 문제 구조를 효과적으로 활용한다. 마지막으로, 수정된 A* 연산자가 이웃 수정의 영향을 받는 하위 수준 경로를 재계획하여 실행 가능성과 해의 완전성을 보장한다. 12개의 벤치마크 인스턴스와 3개의 GIS 유래 인스턴스에 대한 포괄적 실험은 L-VNS의 우수성을 입증하며, 대표적 접근법 대비 총 공사 비용을 0.92%에서 73.72%까지 절감하였다. 절제(ablation) 연구와 민감도 분석은 제안 알고리즘의 효과성과 견고성을 추가로 검증한다.
동적 제조 환경에서는 기계 고장, 긴급 작업 도착, 처리 시간 변동과 같은 빈번한 운영 교란 하에서 다중 에이전트 시스템이 효과적으로 조율해야 한다. 기존 다중 에이전트 강화학습 접근법은 각 교란 에피소드를 독립적으로 처리하여, 향후 적응을 가속할 수 있는 귀중한 조율 경험을 버린다. 본 논문에서는 동적 제조 환경에서의 다중 에이전트 조율을 위한 그래프 구조 경험 메모리(GSEM) 프레임워크를 제안한다. 이 프레임워크는 작업 종속성, 기계 상태, 에이전트 간 협업 패턴을 포착하는 이종 관계 그래프로 역사적 조율 에피소드를 인코딩한다. 새로운 교란이 발생하면 그래프 신경망 기반 검색 메커니즘이 구조적으로 유사한 과거 에피소드를 식별하여, 처음부터 학습하는 대신 경험 기반 정책 적응을 가능하게 한다. 세 가지 교란 유형을 포함하는 동적 유연 작업장 스케줄링 벤치마크에서의 실험 결과, GSEM은 가장 강력한 메모리 증강 기준선 대비 makespan을 4.1%-10.0% 줄이고 적응 시간을 33%-38% 단축했으며, 교란 빈도가 높을수록 이 우위가 커진다. 소거 연구와 교차 교란 전이 실험은 그래프 구조 인코딩과 유사도 기반 검색의 필요성을 추가로 검증하고, 학습된 조율 패턴의 교차 교란 일반화 가능성을 입증한다.
에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.
다중 에이전트 강화학습(MARL)은 시뮬레이션 �ench마크에서 강력한 성능을 달성했지만, 실제 배포 환경에서는 알고리즘이 설계되고 평가되는 가정을 자주 위반한다. 에이전트 집단이 변할 수 있고, 목표가 바뀔 수 있으며, 중앙집중식 정보를 사용할 수 없을 수 있고, 실행이 비동기적으로 이루어질 수 있으며, 파트너 정책이 낯설 수 있다. 기존 서베이들은 확장성(scalability), 견고성(robustness), 일반화(generalization), 전이 가능성(transferability)과 같은 관련 요구(desiderata)를 논의하지만, 이러한 용어들은 종종 서로 다른 분석 대상과 서로 다른 종류의 분포적 또는 구조적 변화(shift)를 가리킨다. 본 서베이는 \textit{adaptability}를 모든 MARL 알고리즘이 모든 설정에서 성공해야 한다는 보편적 요구사항이 아니라, 이러한 변화들을 체계화하기 위한 가정 인식 분류 체계로 제안한다. 우리는 세 가지 차원을 구분한다: 변경된 학습 또는 시스템 가정 하에서 학습 패러다임의 적용 가능성과 관련된 \textit{learning adaptability}, 배포 시점의 변화 하에서 학습된 정책의 재사용 또는 적응과 관련된 \textit{policy adaptability}, 그리고 벤치마크와 평가 프로토콜이 통제된, 진단적으로 유용한 변화를 드러내는지와 관련된 \textit{scenario-driven adaptability}. 무엇이 변하는지, 변화가 언제 발생하는지, 어떤 적응이 허용되는지, 성공이 무엇을 의미하는지를 분리함으로써, 이 프레임워크는 기존 개념들이 어떻게 맞물리는지를 명확히 하고 현재 MARL 평가가 어디에서 여전히 불충분하게 명시되어 있는지를 식별한다.
분업(division of labor, DOL)이 협력을 강화하는 데 핵심적인 역할을 한다는 점은 실제 응용에서 잘 알려져 있다. 이에 따라 많은 협력적 다중 에이전트 강화학습(MARL) 방법들이 에이전트 간 협력을 개선하기 위해 DOL 메커니즘을 도입해 왔다. 그러나 DOL과 협력을 평가하고 촉진하도록 특별히 설계된 벤치마크 과제가 부족하여, 협력적 MARL에서 이러한 메커니즘의 효과적인 개발과 배포가 제한되어 왔다. 현재의 협력적 MARL 방법과 실제 응용 사이의 이러한 격차는 DOL과 협력을 명시적으로 요구하는 평가 과제의 필요성을 부각시킨다. 이 격차를 해소하기 위해, 우리는 과제를 성공적으로 완료하기 위해 DOL과 협력을 모두 요구하도록 명시적으로 설계된 과제 모음인 복합 과제 챌린지(Composite Tasks Challenge, CTC)를 제안한다. CTC 과제는 두 가지 핵심 설계 원칙에 기반하여 구성된다: 1) DOL은 과제 성공의 필수 조건이다; 2) 어떤 원자적 하위 과제에서든 실패하면 전체 과제가 실패한다. 첫 번째 원칙은 DOL의 필요성을 강조하고, 두 번째 원칙은 협력의 중요성을 강제하여, CTC 과제에서 성공을 위해 두 구성 요소가 모두 필수적이 되도록 한다. 우리는 제안된 CTC 과제에 대해 9개의 대표적인 협력적 MARL 방법을 평가한다. 실험 결과, 모든 방법이 모든 CTC 과제에서 일관되게 0%의 테스트 승률을 기록하여, CTC 과제의 난이도와 현재 방법들의 한계를 부각시킨다. 향후 연구를 촉진하기 위해, 우리는 또한 모든 과제에서 0이 아닌 테스트 승률을 달성하는 가이드 솔루션을 제시하여 CTC 과제의 해결 가능성을 보여준다. 그러나 이 가이드 솔루션의 성능은 여전히 최적에 미치지 못하며, 이는 협력적 MARL 연구를 발전시키기 위한 도전적이고 의미 있는 테스트베드로서 CTC 과제의 가치를 더욱 부각시킨다.
멀티모달 대규모 언어 모델(MLLM)은 일반 도메인에서 유망한 추론 능력을 보여주었지만, 의료와 같은 전문 분야, 특히 다국어 및 저자원(low-resource) 시나리오에서는 성능이 여전히 제한적이다. 이러한 격차는 농촌 인도와 같은 지역에서 특히 중요한데, 환자들은 종종 모국어인 Indic 언어로 복잡한 의료 질문을 표현하고 의료 영상과 같은 멀티모달 입력에 의존하기 때문이다. 기존의 영어 중심 MLLM은 이러한 사용 사례를 지원하는 데 어려움을 겪으며, AI 기반 의료 지원에 대한 공평한 접근을 제한한다. 이 과제를 해결하기 위해, 우리는 8개의 이질적 출처로 구성된 대규모 다국어 멀티모달 의료 질의응답 데이터셋 ArogyaBodha를 제시한다. 이 데이터셋은 영어와 7개의 주요 인도 언어에 걸쳐 31개 신체계, 6개 영상 모달리티, 21개 임상 도메인을 포괄한다. 또한 actor-critic 기반 멀티 에이전트 프레임워크 ArogyaSutra를 제안한다. 이 프레임워크는 단계별 추론 인식 의사결정을 위해 도구 그라운딩(tool grounding)과 이중 메모리 메커니즘을 통합하며, 저장된 actor-critic 시뮬레이션 궤적을 지식 증류(distillation)에 활용한다. 실험 결과, 우리의 데이터셋과 프레임워크가 모든 Indic 언어에 걸쳐 다국어 의료 추론 정확도를 향상시키며, ablation을 통해 각 구성 요소의 기여를 검증하였다. 소스 코드와 데이터셋은 https://iitp-cse.github.io/ArogyaSutra/ 에서 이용할 수 있다.
도달 가능성(reachability)은 가장 기본적인 논리적 목표이지만, 강화학습(reinforcement learning) 설정에서 학습하기가 악명 높게 어렵다. 마르코프 결정 과정(Markov decision process)의 경우에도 추가 가정 없이는 도달 가능성의 PAC 학습이 불가능하다. 이러한 어려움은 유한 상태 공간에서 두 적대적 플레이어가 상호작용하는 턴 기반 확률적 게임(turn-based stochastic game, TBSG)에서도 마찬가지다. 본 연구에서는 도달 가능성 목표를 갖는 턴 기반 확률적 게임을 다룬다. 이러한 설정에서 학습 단계에서도 플레이어가 적대적인 적대적 학습(adversarial learning)은 불가능하다. 따라서 목표는 두 플레이어가 함께 알려지지 않은 모델을 학습하는 학습 방식을 고려하는 것이다. 이러한 취지에서, TBSG에서 PAC 학습에 관한 기존 문헌은 (a) 두 플레이어가 공유하는 공개 정보(public information); (b) 플레이어가 동일한 학습 알고리즘을 공유하는 중앙집중식 학습(centralized learning)을 고려한다. 본 연구의 기여는 두 가지이다. 첫째, 이러한 강한 가정을 완화하고 다음을 만족하는 학습을 보장한다: (i) 다른 플레이어와 공유되지 않는 사적 정보(private information)를 사용하는 학습; (ii) 플레이어가 동일한 학습 알고리즘을 공유하지 않는 분산형 학습(decentralized learning). 우리가 아는 한, 본 연구는 도달 가능성 목표를 갖는 TBSG에 대한 분산형 및 사적 정보 학습의 최초의 긍정적 결과이다. 둘째, 목표 집합에 도달하기까지의 기대 길이를 측정하는 기대 조건부 거리(Expected Conditional Distance, ECD) 매개변수의 게임 이론적 일반화를 도입한다. 우리는 상태 수, 행동 수, ECD 매개변수, 오차 허용치와 실패 확률의 역수에 대해 다항식 샘플 복잡도(polynomial-sample complexity) 상한을 확립한다.
본 논문은 수색·구조 작업을 수행하는 자율 UAV 군집을 위한 새로운 3계층 계층적 학습 아키텍처를 제안한다. 모든 계층 수준에 단일 학습 패러다임을 적용하는 기존 접근과 달리, 제안 아키텍처는 반사(reflexes), 기술(skills), 추론(reasoning)의 생물학적 계층에 대응하는 세 가지 질적으로 다른 학습 메커니즘을 통합한다: 개별 에이전트 적응을 위한 Hebbian 신경가소성, 전술적 협조를 위한 그래프 신경망(GNN)과 행동 트리(Behavior Trees)를 활용한 다중 에이전트 강화학습(MARL), 그리고 전략적 의사결정을 위한 BDI 추론과 디지털 트윈을 갖춘 모델 불변 메타 학습(model-agnostic meta learning). 아키텍처는 BDI, Behavior Trees, GNN, MARL, Neuroplasticity, Meta Learning 등 6개 구성요소에 걸쳐 22개의 아키텍처 계약으로 형식화되며, 이들은 안전성, 예산 정확성, 최적성, 활성(liveness), 기아(starvation) 자유, 계층 간 일관성과 같은 6가지 형식적 보장 클래스를 공동으로 제공한다. 우리는 3개 수준 전체의 구조화된 상호작용에서 발생하는 조합적 속성인 군집 메타 인지(Swarm Meta Cognition)를 도입하여, 군집이 자신의 인지 상태를 모니터링하고 인지 전략 간 전환을 가능하게 한다. SAR 작업 유형에 대한 5가지 구성적 진행 함수는 추상적 최적화 이론과 구체적 운용 시나리오 사이의 간극을 메운다. 주요 통합 정리는 모든 계약이 충족될 때 하이브리드 신경-기호 시스템이 6가지 보장 클래스를 모두 보존함을 확립한다. 능동 학습(active learning)이 포함된 동적 경우에 대해 5개의 새로운 계약이 프레임워크를 확장하여 인지적 회복력, 우아한 성능 저하(graceful degradation), 단조 메타 개선(monotonic meta improvement)의 3가지 추가 보장을 제공한다. 이론적 분석은 해당 아키텍처가 기존 계층적 RL 접근법의 5가지 근본적 한계를 해결함을 보여준다.
자기 유도(MI) 통신의 셀룰러 네트워크는 장거리 지하 환경에서 유망을 보인다. 전통적인 MI 통신에서는 MI 채널이 준정적(quasi-static) 채널로 취급되므로 고속 페이딩 채널이 존재하지 않는다. 그러나 차량(이동) MI(VMI) 통신에서는 예측 불가능한 안테나 진동이 현저한 고속 페이딩을 유발한다. 이러한 고속 페이딩은 중심극한정리(central limit theorem)로 모델링할 수 없으므로, 다른 무선 고속 페이딩 채널과 근본적으로 다르다. 안타깝게도 이 현상에 초점을 맞춘 연구는 거의 없다. 본 논문에서는 전자기장 정리에 기반한 새로운 공간 모델링을 이용하여 VMI 안테나 진동의 3차원 모델을 제안한다. "켤레 의사-구간 함수(conjugate pseudo-piecewise functions)"와 경계 $p(x)$ 분포를 제안함으로써, VMI 고속 페이딩 채널의 누적분포함수(CDF), 확률밀도함수(PDF) 및 기댓값을 도출한다. 또한 VMI 고속 페이딩이 네트워크 처리량에 미치는 영향을 이론적으로 분석하며, 전통적인 MI 채널 연구에서는 무시할 수 있는 VMI 단절(outage) 확률도 포함한다. 무선 고속 페이딩 연구와 다른 몇 가지 흥미로운 결론을 도출한다. 예를 들어, 고속 페이딩은 보다 균일하게 분포된 채널 계수를 가져온다. 마지막으로, 비협력 게임과 다중 에이전트 Q-학습(multiagent Q-learning) 방법을 이용한 전력 제어 알고리즘을 제안하여 셀룰러 VMI 네트워크의 처리량을 최적화한다. 시뮬레이션을 통해 도출 결과와 제안 알고리즘을 검증한다.
수중 은밀 협력 임무에서 자율 수중 로봇(AUV)은 능동 소나에 의존해 지속적으로 완전한 정보를 얻을 수 없는 경우가 많다. 능동 감지와 빈번한 통신은 노출 위험을 높이기 때문이다. 결과적으로 AUV는 주로 수동 관측에 의존하며, 이 접근은 불완전한 국소 지각과 제한된 작업 효율을 초래한다. 수중 음향 통신은 정보 공유를 통해 이 한계를 완화할 수 있지만, 동시에 긴 지연, 심각한 간섭, 낮은 신뢰성, 은밀 노출 위험으로 제약받는다. 기존 통신 지향 다중 에이전트 강화학습(MARL) 연구는 통신을 이상적인 정보 흐름으로 모델링하는 경우가 많고, 전통적인 통신 최적화는 주로 링크 수준 성능에 초점을 맞춘다. 그러나 둘 다 은밀한 물리적 통신의 현실적 조건 하에서 협력 작업에 대한 지각 정보의 실제 기여를 특성화하기에는 불충분하다. 본 논문은 실용적 정보를 활용해 협력 작업에 대한 정보의 유용성을 특성화하고, 현실적인 통신 및 은밀 제약 하에서 분산 협력 정책을 학습하는 Sensed Information Value Realization Multi-Agent Reinforcement Learning(SVR-MARL) 프레임워크를 제안한다. 은밀 다중 AUV 협력 위치 추정 및 추적에 대한 사례 연구를 통해, 불필요한 통신과 노출 위험을 줄이면서 협력 작업 효율을 개선할 수 있는 제안 프레임워크의 잠재력을 보여준다.