본 논문에서는 다중 에이전트 시스템(MAS)에서 상호작용 정책의 빠른 적응을 가능하게 하는 메타 다중 에이전트 강화학습(meta-MARL) 프레임워크를 개발합니다. 메타 강화학습(meta-RL)은 이단계 최적화(bi-level optimization) 메커니즘을 통해 에이전트가 새로운 태스크 및 환경에 빠르게 적응할 수 있도록 지원합니다. 그러나 기존의 메타 강화학습은 일반적으로 단일 에이전트 시스템에 초점을 맞추고 있습니다. 이러한 프레임워크와 알고리즘을 다중 에이전트 시스템으로 확장하는 데는 추가적인 난관이 따르는데, 태스크가 환경뿐만 아니라 에이전트 간의 전략적 상호작용에 의해서도 정의되기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다중 에이전트 강화학습(MARL) 문제를 마르코프 게임(MG)으로 모델링하고 여러 마르코프 게임 분포 전반에서 신속한 상호작용 정책 적응을 달성하는 메타 다중 에이전트 강화학습 프레임워크를 개발합니다. 또한 메타 다중 에이전트 강화학습 문제에서 목표로 하는 해의 개념을 설명하기 위해 메타-내시 균형(meta-NE)이라는 새로운 개념을 정의합니다. 나아가 메타-내시 균형과 그래디언트 플레이 기반 메타 다중 에이전트 강화학습 알고리즘의 정류점(stationary point) 간의 동치성에 대한 충분조건을 확립합니다. 자율주행 태스크를 대상으로 한 평가를 통해 제안된 메타 다중 에이전트 강화학습 방법이 사전학습된 다중 에이전트 강화학습 베이스라인보다 더 빠른 적응을 달성함을 입증하여 프레임워크의 유효성을 검증합니다.
본 논문에서는 이탈을 억제하고 담합의 행동적 증거를 제공하는 학습된 징벌 메커니즘을 규명함으로써, 최적 집행(optimal-execution) 게임에서 나타나는 초과 경쟁적 결과(supra-competitive outcomes)에 대한 기존 연구 결과를 확장합니다. 저자들은 2인 유한 시간 지평 Almgren-Chriss 청산 게임에서 이 메커니즘을 조사합니다. 에피소드 내 가격 및 행동 이력에 접근할 수 있는 독립적인 근접 정책 최적화(PPO) 에이전트들은 내시(Nash) 벤치마크보다 낮은 비용을 달성합니다. 학습된 평균 청산 일정에 대항해 학습(training)시킴으로써 수익성 있는 이탈을 식별한 뒤, 원래 에이전트 중 하나에 이탈의 첫 거래를 강제합니다. 이에 상대방은 청산을 가속화하는 방식으로 대응합니다. 이러한 대응은 모든 실행과 두 플레이어 역할 모두에서 이탈자의 이득을 상쇄하고도 남으며, 동일한 이탈 하에서 처벌하지 않았을 때와 비교해 처벌자의 평균 보수는 실질적으로 변하지 않은 채 유지됩니다. 처벌자는 더 수익성이 높고 징벌성이 덜한 청산 계획을 선택할 수 있음에도 불구하고, 자신의 평균 보수를 보존하면서 이탈자에게 더 큰 손실(loss)을 부과합니다. 이에 상응하는 이탈과 그에 따른 추가 매도는 학습 과정에서 증가했다가 이후 감소하지만, 최종 정책은 효과적인 징벌적 대응을 유지합니다. 저자들은 처벌이 이탈로 인한 이득을 능가하는지 여부, 그리고 거래 행동의 변화가 부과된 손실을 설명할 만큼 충분히 큰지 여부라는 두 가지 검증 기준을 정식화합니다. 테스트된 이탈에 대해 두 검증 기준 모두 충족됩니다. 종합하면, 이러한 발견들은 학습된 초과 경쟁적 결과가 담합이라는 해석을 뒷받침하는 행동적 및 경제적 증거를 제공합니다.
다중 제품 시장에서 작동하는 자율 대규모 언어 모델(LLM) 에이전트는 정보 비대칭과 자원 제약 조건 하에서 순차적 의사결정을 내려야 합니다. 본 연구에서는 판매자가 독립적인 구매자 풀을 대상으로 대체 가능한 자산 카탈로그를 동시에 협상하는 다중 품목 협상 환경에서 에이전트가 판매자로서 효과적으로 활동하도록 학습시키는 머신러닝 접근 방식을 개발합니다. 구매자들은 제품 전반에 걸쳐 비공개적이고 이질적인 가치 평가를 지니며, 각 구매자는 최대 하나의 품목만 구매할 수 있습니다. 판매자는 전체 통신 턴 수의 제한에 직면하여 구매자의 비공개 가치 평가를 고려해 가장 수익성이 높은 제품과 동적으로 매칭하는 동시에, 더 큰 잠재 가치를 지닌 조합을 향해 제한된 상호작용 예산을 전략적으로 할당해야 합니다. 본 논문에서는 자연어를 파싱 가능하고 규제된 의사결정 공간으로 매핑하는 정형화된 4단계 메시지 프로토콜을 사용하여 이 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 정형화합니다. 이러한 정형화를 바탕으로 검증 가능한 보상 기반 강화학습(RLVR)을 사용하는 사후 학습(post-training) 방법을 설계합니다. 이 프레임워크를 평가하기 위해 제약 준수, 판매자 잉여 추출, 할당 품질을 정량화하는 다차원 메트릭 스위트를 구축합니다. 학습된 판매자 에이전트는 제한된 재고를 구매자에게 더 효과적으로 매칭하는 법을 학습하며, 판매자 잉여 추출 및 구매자-제품 할당 품질 모두에서 조 단위 매개변수를 지닌 프론티어 모델과 대등하거나 이를 능가하는 성능을 보입니다. 마지막으로, 이렇게 학습된 전략은 학습 중 접하지 않은 새로운 시장 구조, 상관관계가 있는 가치 평가 분포, 가격 범위로도 견고하게 일반화됩니다.
최근 다중 에이전트 시스템의 발전은 분업을 통해 협력하는 특화된 소형 에이전트들의 잠재력을 부각하고 있습니다. 그러나 기존의 도구 통합 추론 시스템은 하나의 대형 모델이 장기적(long-horizon) 추론과 정밀한 도구 작업을 번갈아 수행하는 단일 에이전트 패러다임을 따르는 경우가 많아, 인지 부하 간섭과 불안정한 조율을 초래합니다. 본 논문에서는 추론과 도구 사용을 명시적으로 분리하는 다중 소형 에이전트 강화학습(Multi-Small-Agent Reinforcement Learning) 프레임워크인 MSARL을 제안합니다. MSARL에서는 추론 에이전트(Reasoning Agent)가 문제를 분해하고 도구 호출을 계획하는 반면, 여러 도구 에이전트(Tool Agent)는 특정 외부 도구에 특화되며 역할별 보상을 활용한 모방 학습과 강화학습의 결합을 통해 각각 학습됩니다. 코드 실행을 수반하는 수학 문제 해결 작업에서, MSARL은 단일 에이전트 베이스라인 대비 추론 안정성과 최종 정답 정확도를 크게 향상시킵니다. 나아가 이 아키텍처는 다양한 도구 사용 과제로 일반화되어, 소형 에이전트를 통한 인지적 역할 분리가 다중 에이전트 AI 설계를 위한 확장 가능한 청사진임을 입증합니다.
제어 장벽 함수(Control Barrier Function, CBF)는 비선형 동역학 시스템의 안전성을 보장하기 위해 널리 쓰이는 안전 필터이다. 그러나 시스템에 불확실성과 외란이 존재할 때는 CBF의 강건(robust) 변형을 사용해야 하는데, 이러한 변형은 구성하기 어려울 수 있으며 특히 입력 제약이 있는 고차원 시스템에서는 지나치게 보수적일 수 있다. 본 연구에서는 이러한 문제를 해결하기 위한 새로운 접근법으로, 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials, LEAP)을 제안한다. LEAP은 주어진 상태가 외란에 대해 갖는 강건성을, 외란이 실패를 일으키기 위해 필요한 노력의 크기로 정량화하는 인증서(certificate)이다. 우리는 LEAP이 외란이 없는 시스템에 대한 CBF임을 보이는 동시에, 누적 노력이 제한된 외란에 대해 강건한 안전 필터를 구성하는 데에도 사용될 수 있음을 보인다. 또한 온-정책(on-policy) 심층 강화학습(deep reinforcement learning)으로 LEAP을 구성하는 방법을 제안한다. 이어서 외란과 불확실성이 있는 다양한 멀티 에이전트 시스템에 대한 시뮬레이션에서 LEAP을 시연한다. 마지막으로, 사족보행 로봇과 쿼드로터를 이용한 하드웨어 실험을 통해 LEAP이 실제 로봇 시스템의 외란과 불확실성을 다루는 데 적합함을 검증한다.
경쟁적인 작업에 배치된 로봇은 안전성(safety)을 저해하지 않으면서 상대를 제압할 수 있어야 합니다. 안전 강화학습(safe RL)을 포함한 기존 접근 방식들은 작업 성공을 달성함과 동시에 실패를 피하도록 단일 정책을 학습(training)합니다. 이러한 결합은 학습을 복잡하게 만들고, 의도적인 공격에 의해 학습된 정책이 악용(exploitable)될 수 있는 여지를 남깁니다. 본 논문에서는 안전성 통합과 경쟁 작업 학습을 분리하는 2단계 강화학습 프레임워크인 Safety to Competence(S2C)를 제안합니다. 경쟁적인 상호작용을 안전 필수 마르코프 게임(safety-critical Markov games)으로 정형화하고, 모든 플레이어가 안전한 기동을 준수할 때 완벽한 필터링이 정책의 비착취성(non-exploitability)을 보존함을 증명합니다. S2C는 적대적 강화학습을 통해 강건한 안전 필터를 학습하고, 작업 정책 학습 중 이를 환경(environment)에 포함시키며, 실제 배치 시에도 동일한 필터를 유지합니다. 시뮬레이션된 터치다운 게임에서 S2C는 8가지 안전 강화학습 베이스라인을 능가하여 가장 높은 승률과 Elo 레이팅, 그리고 가장 낮은 착취성을 달성했습니다. 인간 상대를 대상으로 한 하드웨어 스트레스 테스트에서도 S2C의 뛰어난 역량이 입증되었습니다.
다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.
다중 에이전트 시스템에서 효율적인 자원 할당은 자율 에이전트가 개별 비용과 시스템 전반의 목표 사이에서 균형을 맞추며 의사결정을 조율할 것을 요구합니다. 이러한 문제는 시간 범위가 길어질수록 더욱 어려워지는데, 탈중앙화된 에이전트가 전체 시스템에 대한 제한된 관측만을 가지는 상황에서 현재의 할당을 개선하는 결정이 미래의 자원 할당을 저해할 수 있기 때문입니다. 다중 에이전트 강화학습(MARL)은 국소적 관측을 통해 이러한 장기적 의존성을 학습할 수 있지만, 대규모 조율에 직접 적용할 경우 결정 공간이 급격히 증가하고 비효율적인 학습으로 이어집니다. 이를 해결하기 위해, 본 논문에서는 탈중앙화된 다중 에이전트 조율을 대체하기보다는 MARL을 활용하여 이를 안내하는 계층적 프레임워크인 계층적 강화 및 집합 통신 학습(HRCL)을 제안합니다. 상위 수준에서 MARL은 조율 과정 중 고려되는 대안들을 제한하고 에이전트가 시스템 전반 및 개별 목표의 균형을 맞추도록 안내하는 전략을 학습합니다. 하위 수준에서는 에이전트가 이러한 전략적 안내에 따라 효율적인 탈중앙화 조율을 수행합니다. 이러한 분리를 통해 학습 공간이 축소되고 단기적인 조율 트레이드오프를 장기적 영향에 따라 평가할 수 있게 됩니다. 합성 벤치마크에 대한 실험 결과, HRCL은 단독 MARL보다 상당히 빠르게 수렴하며 시스템 전반 및 개별 비용을 각각 35.53%와 27.05% 절감함을 보여줍니다. 또한 에너지 자체 관리 및 드론 군집 감지에 대한 평가를 통해 향상된 자원 할당, 전력 피크 조절, 감지 효율성을 추가로 입증합니다. 이러한 결과는 기존 조율 프로세스에 대한 전략적 안내를 학습함으로써 단기적인 결정이 미래의 자원 할당을 저해하지 않으면서도 확장 가능한 탈중앙화 조율을 유지할 수 있음을 보여줍니다.
금융 기관들은 신용, 이상 거래 탐지(fraud), 채권 추심, 규제 준수(compliance) 및 운영 제어 분야에 에이전트 기반 워크플로를 배포하기 시작하고 있습니다. 그러나 거버넌스는 여전히 구성요소 중심적(component-centric) 수준에 머물러 있어, 각 모델(model)이나 에이전트(agent)는 개별적으로 명세화, 테스트, 승인 및 모니터링됩니다. 이러한 방식은 기관 차원의 리스크가 개별적으로는 수용 가능한 다수 구성요소의 결합된 동작에서 비롯될 때 불충분합니다. 본 논문에서는 이러한 격차를 '구조적 비합성성(constitutional non-compositionality)'이라고 부릅니다. 즉, 개별 컴플라이언스 점검 결과가 제한된 차등 영향(bounded disparate impact), 시장 건전성, 추적 가능한 책임성 등과 같이 허용 가능한 집단적 결과로 반드시 종합되는 것은 아닙니다. 이에 본 논문에서는 에이전트 집단 거버넌스를 위한 금융 특화 참조 아키텍처이자 반증 가능한 연구 과제로 ARIA를 제안합니다. ARIA는 규범-책임, 실행-제어, 보증-학습의 세 가지 영역에 걸쳐 정책 명세, 집단 수준의 관측 대비 예상 동작 모니터링(M2), 제한적 권한, 런타임 격리, 적응형 정책 변경, 인간 감독 역량 보존이라는 6가지 기능을 체계화합니다. 두 가지 시뮬레이션을 통해 개별 통제 환경에서의 공유 신호 기반 금융이력 부족자(thin-file) 배제 현상과, 인위적으로 조성된 드리프트 환경에서 관측 대비 예상 분포 모니터링을 통한 조기 경보 가능성을 입증합니다. 본 연구는 이러한 통제 기법을 공정 대출, EU AI 법(EU AI Act), 모델 리스크 및 영업행위 감독 증빙 요건과 연계하며, 즉각적인 운영 효과성을 주장하기보다는 향후 검증(validation) 과제를 제시하며 마무리합니다.
협력의 창발(cooperation emergence)은 탈중앙화된 에이전트(decentralized agent)들이 다른 에이전트들의 변화하는 행동에 적응하면서 동시에 조정을 이루어야 하므로 다중 에이전트 시스템에서 핵심적인 문제입니다. 진화 게임 이론(evolutionary game theory)은 전략적으로 안정한 결과를 규명하지만, 집단 조정 동역학 하에서의 안정성이 유한 샘플 학습 에이전트들이 국소적 보상(reward) 피드백을 통해 동일한 결과에 도달할 수 있음을 반드시 의미하지는 않습니다. 본 연구에서는 정부, 플랫폼 기업, 사용자가 참여하는 투명한 거버넌스 동기 기반의 3인 에이전트 게임에서 이러한 차이를 탐구합니다. 고정된 스테이지 게임 유인에 대한 복제자 동역학(replicator dynamics)을 도출하고, 대칭적인 초기 조건 그리드에서 협력적 진화 유역(evolutionary basin)을 평가하며, 이를 세 가지 탈중앙화 가치 기반 학습자에 대한 학습 유역 추정치와 비교합니다. 학습 분석에서는 동일한 보수 환경(payoff environment) 및 결과 기준 하에서 $\varepsilon$-탐욕적(greedy) 행동 선택을 사용하는 독립 Q-학습(independent Q-learning), 스케일링된 볼츠만 탐험(scaled Boltzmann exploration), 그리고 SA--EA BQL을 활용합니다. 샘플링된 그리드에서 진화 유역의 체적은 $V_E=1.00$입니다. 실증적 학습 유역은 $\varepsilon$-IQL의 경우 $0.88$인 반면, 스케일링된 볼츠만 및 SA--EA BQL의 경우 모두 $0.00$입니다. 진단 추적 결과는 이 고정된 구성에서 더 넓은 행동 다양성과 0이 아닌 가치 분리가 협력적 결합 행동을 유지하지 못하는 실패와 공존할 수 있음을 보여줍니다. 이러한 결과는 진화적 안정성과 학습 도달 가능성(learning accessibility)이 결합된 게임-학습 시스템의 구별되는 속성임을 나타냅니다. 공유 자전거 환경은 동기 부여를 위한 적용 사례이며, 더 광범위한 기여는 명시된 다중 에이전트 학습 동역학 하에서 집단 수준의 안정성과 협력의 유한 샘플 도달 가능성을 비교하기 위한 프레임워크를 제공하는 것입니다.
본 논문에서는 저순위 잠재 동역학(low-rank latent dynamics)과 미지의 시스템 모델을 갖는 탈중앙화 부분 관측 팀 의사결정 문제를 연구합니다. 제안된 프레임워크는 전이 모델(transition model)에 대한 사전 지식 없이도 부분 관측 마르코프 결정 과정(POMDP)에서의 협력적 의사결정을 다루기 위해 팀 이론적 동치성(team-theoretic equivalence)과 저순위 모델 표현을 결합합니다. 각 팀 구성원은 로컬의 개별 정보와 팀 전체에 공유되는 지연된 공통 정보를 기반으로 의사결정을 내립니다. 사용 가능한 정보만을 활용하여, 각 구성원은 근사 저순위 마르코프 결정 과정을 학습하고 최소제곱 가치 반복(least-squares value iteration)을 적용하여 정책을 계산합니다. 이를 통해 중앙 조정자나 중앙 집중식 학습이 모두 필요하지 않은 완전 탈중앙화 학습 및 계획 알고리즘을 도출합니다. 우리는 결과로 도출된 구성원 측 해가 중앙 집중식 팀 해를 근사함을 보입니다. 즉, 부분 관측 가능성, 미지의 동역학, 지연된 공통 정보에도 불구하고 각 구성원은 근사 팀 최적 정책의 해당 구성 요소를 복원합니다. 나아가 제안된 알고리즘에 대한 유한 표본 성능 보장(finite-sample performance guarantees)을 확립하고 이에 대응하는 표본 복잡도 한계(sample-complexity bound)를 유도합니다.
협업 토폴로지(collaboration topology)는 LLM 기반 멀티 에이전트 시스템의 성능과 실행 비용을 모두 좌우한다. 과제마다 복잡도와 요구되는 역량이 다르기 때문에, 최근 접근법들은 에이전트의 참여 여부와 정보 흐름을 명시하는 과제별 협업 그래프를 생성한다. 그러나 대표적인 토폴로지 생성기들은 조직 전체에 걸쳐 개별 에이전트 또는 사전에 정의된 그룹 중 하나만을 사용하므로, 하위 과제마다 달라지는 협업 요구를 간과한다. 우리의 핵심 통찰은 각 기능적 역할(functional role)마다 세분성(granularity)을 국소적으로 선택하여, 하나의 조직 안에서 세밀한 제어와 재사용 가능한 협업 패턴을 결합하는 것이다. 이러한 조직을 학습하려면 조합적으로 방대한 구성 공간을 탐색해야 하는데, 최종 답변에 대한 보상만으로는 중간 피드백이 제한적이다. 이에 우리는 혼합 세분성 그래프 생성을 위한 조밀한 보상(dense-reward) 강화학습 프레임워크인 MAGIC을 제안한다. 구체적으로, MAGIC은 기능적 역할을 순차적으로 선택하고, 이를 단일 에이전트 또는 재사용 가능한 그룹으로 인스턴스화한 뒤, 기존 유닛에 연결하는 방식으로 혼합 세분성 에이전트 그래프를 구성한다. 우리는 현재 정책에서 샘플링한 궤적(trajectory)의 리턴(return)을 사용해 구성 정책을 직접 최적화하며, 누적 과제 보상은 보존하면서 프로브 기반 유용성 신호와 구조적 신호로부터 중간 피드백을 제공하기 위해 포텐셜 기반 보상 셰이핑(potential-based reward shaping)을 사용한다. MAGIC은 여덟 개의 벤치마크에서 최신 기준선(baseline)들을 능가하며, 효율성 연구에서 뛰어난 추론 효율성을 보여준다.
본 논문은 연속 게임에서 반응형 캐릭터 행동을 간결하고 사람이 읽을 수 있는 프로그램 형태로 합성하는 방법을 제시한다. 게임 AI 실무는 여전히 수작업으로 작성한 행동 트리, 상태 기계, 스크립트에 크게 의존하는 반면, 학계의 강화학습은 학습 비용이 크고 수정하기 어려운 불투명한 신경망 제어기를 주로 만든다. 우리 접근은 연속 공간 게임 정책을 위한 도메인 특화 언어 위에서 직접 탐색함으로써 이 간극을 메운다. 이 언어는 반응형 기하학적 의사결정을 중심으로 설계되었으며 방향 최대화(direction maximization)와 같은 고차(higher-order) 구성을 포함한다. 이러한 구성은 연속 행동 공간을 열거 가능한 프로그램 구조로 이산화하는 데 도움이 된다. 프로그램 탐색을 실용적으로 만들기 위해, 행동적 커버리지는 유지하면서 중복 프로그램 형태를 제거하는 대규모 합성 안티패턴(synthesis antipatterns) 집합을 도입한다. 또한 하향식(bottom-up) 기호 열거와 코딩 에이전트의 하향식(top-down) 안내를 결합한다. 그 결과 방법인 agentic sketching은 에이전트가 고수준 정책 구조를 제안하고 열거기를 호출해 지역 프로그램 슬롯을 채우도록 한다. 14개의 연속 게임으로 구성된 벤치마크에서 방법을 평가했으며, 고전 제어 과제부터 다중 에이전트 축구까지 범위에 걸친다. 순수 열거만 사용하는 것이 코딩 에이전트 단독 사용보다 종종 더 효율적이며, 결합 방법은 둘 모두를 크게 능가한다. 결과는 프로그래밍 정책 탐색이 게임 AI를 위한 실용적인 저작 도구가 될 수 있음을 시사한다. 디자이너가 보상 함수를 지정하면 시스템이 효과적이고 이식 가능하며 종종 놀라운 수준의 편집 가능한 행동을 발견한다.
희소 시뮬레이터 피드백 하에서 분자 동역학(MD) 파이프라인 설계를 자동화하기 위해, 물리학 전문가 간의 다중 에이전트 토론을 통해 보상을 밀집화하는 LLM 에이전트인 MDForge를 제안합니다. 제안된 방법은 SAMPL 벤치마크에서 인간 전문가와 경쟁하는 성능을 보이며, 실제 실험을 통해 새로운 고친화도 결합 분자(binder)를 발견했습니다.
생성적 오프라인 다중 에이전트 강화학습이 빠른 공동 궤적 생성과 효과적인 협력을 동시에 달성하려면 어떻게 해야 할까? 다중 에이전트 확산 모델은 반복적 샘플링으로 공동 궤적을 생성하지만 높은 추론 지연을 초래한다. 지식 증류(distillation)는 샘플링 단계를 줄이지만 교사의 에이전트 간 의존성을 잃을 수 있어 협력 과제의 성공률을 낮출 수 있다. 공동 소수 스텝 생성기를 직접 학습하면 증류 과정에서 이러한 의존성을 잃는 것을 피할 수 있다. 그러나 에이전트 간 의존성의 불충분한 모델링은 여전히 협력을 저해할 수 있다. 또한 일관성 학습(consistency training) 과정은 큰 계산 및 메모리 비용을 수반한다. 따라서 우리는 증류 없이 원스텝 및 소수 스텝 다중 에이전트 궤적 생성을 위해 공동 평균 속도 필드를 직접 학습하는 조율된 소수 스텝 Flow(Coordinated Few-Step Flow, CoFlow)를 제안한다. 생성 중 협력을 지원하기 위해 조율된 속도 어텐션(Coordinated Velocity Attention, CVA)은 각 에이전트의 예측에 팀원 궤적 정보를 통합한다. 이 공동 모델의 일관성 학습 비용을 줄이기 위해 유한 차분을 사용하여 보정 항을 근사한다. MPE와 SMAC에서 48가지 구성에 걸쳐 CoFlow는 중앙집중식 및 분산 실행을 지원한다. 중앙집중식 실행에서 CoFlow는 재현한 기준선보다 11.2% 우수하며, 두 벤치마크 스위트 모두에서 상대적 향상을 동일하게 평균 낸 결과 12.93배의 모델 샘pling 속도 향상을 보인다. CVA는 교차 에이전트 어텐션을 비활성화한 동일 모델 대비 정규화 점수를 평균 165.1% 개선한다. 정확한 도함수 구현과 비교할 때, 유한 차분 학습은 1.78배 속도 향상을 달성하고 최대 GPU 메모리를 41.1% 줄인다. 프로젝트 페이지: https://github.com/Guowei-Zou/coflow.
운송 자원을 고려한 효율적인 잡샵 스케줄링은 고성능 제조에 핵심적이다. "분산 공장(decentralized factories)"의 확산과 함께, 다중 에이전트 강화학습이 생산 및 운송 작업의 통합 스케줄링을 위한 유망한 접근으로 부상했다. 선행 연구는 대체로 새로운 협력 아키텍처 개발에 집중하면서, 결합 학습(joint training)이 언제 필요한지에 대한 질문은 간과해 왔다. 결합 학습은 작업(job) 및 자동 유도 차량(AGV) 스케줄링 에이전트를 동시에 학습하는 것을 의미하며, 모듈형 학습(modular training)은 각 에이전트를 독립적으로 학습한 뒤 사후 통합(post-hoc integration)하는 방식이다. 본 연구에서는 운송 자원을 포함한 잡샵 스케줄링 문제에서 최적 성능을 위해 결합 학습이 필수적인 조건을 체계적으로 조사한다. 자원 부족(resource scarcity)과 시간적 지배(temporal dominance)에 대한 엄밀한 민감도 분석을 통해, 두 학습 방식 간의 성능 차이인 조율 격차(coordination gap)를 정량화한다. 평가 결과, 결합 학습은 대다수의 디스패칭 규칙 조합 및 모듈형 학습 접근법보다 우수한 성능을 보였다. 그러나 병목(bottleneck) 환경, 특히 엄격한 운송 및 가공(processing) 제약 하에서는 조율 격차로 인한 이점이 감소한다. 이러한 결과는 단일 스케줄링 작업이 지배적인 환경에서 모듈형 학습이 실용적인 대안이 될 수 있음을 시사한다. 종합적으로, 본 연구는 환경 조건에 따라 학습 방식을 선택하기 위한 실용적 지침을 제공하여, 의사결정자가 강화학습 기반 스케줄링 성능을 최적화할 수 있도록 한다.
전 스택 인간-로봇 협업(HRC)에서는 플래너, 파트너 모델, 협조 정책, 또는 제어기를 교체할 때 층 간 신호의 물리적 의미가 바뀌면 시스템이 쉽게 취약해질 수 있다. 본 논문은 물리적 계약(physical contracts)을 통해 이러한 의미를 보존하는 객체 중심 인지-제어(cognition-to-control) 아키텍처 C2C를 제안한다. C2C는 개별 모듈을 표준화하기보다, 모듈 사이에 교환되는 물리적 의미를 표준화한다. 과제 의도는 기하학적으로 검증된 페이로드 경로로, 파트너 정보는 소스에 독립적인 물리 상태로, 학습된 협조는 유계 11차원 작업 공간 명령으로 표현하며, 로봇별 실행 가능성은 전신 제어(WBC) 내부에 둔다. 참조 시스템은 비전-언어 모델, 결정론적 기하 검증, 파트너 인지 협조를 위한 다중 에이전트 강화학습(MARL)을 결합한다. 아홉 가지 운반 시나리오에서 적응형 MARL 변형은 인터페이스를 바꾸지 않은 채 평균 성공률 77.1–82.1%를 달성했으며, 스크립트형 파트너 기준은 56.5%였다. 동일한 계약은 신경망 및 해석 가능한 hard-tree 액터, 2·3인 운반 팀, 시뮬레이션 파트너에서 인간 파트너로의 대체까지 추가로 지원한다. 실제 Unitree G1–인간 시험에서는 공간 제약 운반에서 100% 성공, 초장형 물체 취급에서 80% 성공을 보였고, G1 휴머노이드 2대와 인간 1명으로 구성된 3인 운반 시스템이 하드웨어에서 동일한 인터페이스 구조를 검증했다. 이 결과들은 C2C가 밀접하게 결합된 HRC 스택을 핵심 구성요소를 바꿔도 물리적 협업 과제를 재정의하지 않아도 되는 플러그 호환 시스템으로 전환할 수 있음을 보여준다.
애드혹 팀워크(Ad hoc teamwork, AHT)는 에이전트가 이전에 본 적 없는 팀원과 협력해야 하며, 이는 많은 실제 응용 분야에서 매우 중요합니다. AHT의 핵심 과제는 미지의 팀원을 실시간으로 예측하고 이에 적응할 수 있는 자아 에이전트(ego agent)를 개발하는 것입니다. 기존의 강화학습(RL) 기반 접근 방식은 단일 기대 수익만을 최적화하기 때문에 정책이 하나의 지배적인 행동으로 축퇴되는 경우가 많으며, 이로 인해 AHT에 내재된 다중 모달(multimodal) 협력 패턴을 포착하지 못합니다. 본 연구에서는 에이전트의 다중 모달 행동을 포착하여 팀원과의 다양한 협력 모드를 실현하는 확산(diffusion) 기반 접근 방식인 PADiff를 소개합니다. 그러나 표준 확산 모델은 비정상성(non-stationary)이 매우 높은 AHT 시나리오에서 예측 및 적응 능력이 부족합니다. 이러한 한계를 해결하기 위해, 노이즈 제거(denoising) 과정에 팀원에 대한 중요한 예측 정보를 통합하는 새로운 확산 기반 정책을 제안합니다. 세 가지 협력 환경에 걸친 광범위한 실험을 통해 PADiff가 기존 AHT 방식보다 성능이 크게 우수함을 입증합니다.
다중 에이전트 무인 시스템은 고립된 자기 중심적 sensing에서 협력 지능으로 이동하고 있으며, 분산 에이전트들이 압축된 특징(feature)을 교환하여 어떤 단일 에이전트도 벗어날 수 없는 국소 관측의 함정—가림(occlusion), 유한한 센서 범위, 환경 열화—to overcome. 해당 분야는 아키텍처, 통신, embodied, 회복력(resilience), 신뢰 차원에서 성숙해 왔지만, 기존 서베이는 이러한 차원을 각각 따로 다루며 그 의존 관계를 거의 드러내지 않는다. 본 리뷰는 두 가지 상보적 렌즈를 통해 통합적 종합을 제시한다. 첫째는 협력 단계, 통신 패러다임, 융합 아키텍처, 학습 전략, 응용 도메인에 걸친 5차원 분류체계이다. 둘째는 인지적 시너지를 운영 기준으로 전환하는 세 가지 인지적 시너지 조건—의미적 모호성 해소(Semantic Disambiguation), 화용론적 정보 교환(Pragmatic Information Exchange), 선제적 정보 탐색(Proactive Informational Foraging)—이다. 이러한 렌즈를 통해 협력 아키텍처와 토폴로지, 채널을 미분 가능한 파이프라인 구성요소로 다루는 신경-통신 공동 설계(neural-communication co-design), 다중 에이전트 강화학습을 통한 embodied 행동-지각 루프, 동기화·불확실성 정량화·라벨 효율적 학습을 위한 회복력 메커니즘을 조망한다. 이어 이러한 진전을 V2X, 무인 항공, 산업 물류, 스마트 시티의 네 가지 운영 도메인과 안전-프라이버시-유용성(safety-privacy-utility) 삼각 관계에 대응시킨다. 벤치마크 포화와 평가 파편화에 대응하기 위해, 본문은 협력 방법의 트레이드오프를 연구 간 비교 가능하게 만드는 성숙도 모델을 갖춘 5기둥 scoring 프로토콜 GCI-Bench를 제안한다. 재현성, sim-to-real 격차, 협력이 성능을 저하시키는 조건에 대한 비판적 성찰을 통해 미해결 과제를 밝히고, 실세계 불확실성 하에서 범용 협력 지능을 향한 방향을 제시한다.
다중 에이전트 강화학습(MARL)은 팀 기반 환경에서 협력적 행동을 학습하는 데 유망한 가능성을 보여주었습니다. 그러나 이러한 방법들은 종종 방대한 학습(training) 시간을 요구하여 일반적인 게임 개발 환경에서 게임 AI에 적용하기 어렵게 만듭니다. 예를 들어, 최고 수준(SOTA)의 기법인 TiZero는 축구 환경에서 고품질 정책을 학습하는 데 40일이 걸립니다. 본 논문에서는 개선된 탐험(exploration) 메커니즘이 다중 에이전트 기법의 샘플 효율성을 향상시킬 수 있다는 가설을 세웁니다. 이에 따라, 탐험을 촉진하는 것을 목표로 다중 에이전트 TiZero 프레임워크 내에서 랜덤 네트워크 증류(RND) 보너스를 활용하는 방안을 제안합니다. 아울러 기존 알고리즘에 구조적 수정을 도입하여 TiZero의 계산 효율성을 개선합니다. 광범위한 실험을 통해 원본 TiZero 대비 우리 접근법의 샘플 효율성을 평가합니다. 실험 결과에 따르면 랜덤 네트워크 증류는 기존 TiZero와 비교해 학습 단계당 샘플 효율성을 13.3% 향상시켜, 이전에 어려웠던 시나리오에 대한 일반화 및 적응성을 강화합니다. 이는 실제 게임 개발 환경에서 우리 변형 모델의 우수한 적용 가능성을 강조합니다. 마지막으로 휴리스틱 AI를 상대로 생성된 모델들의 게임플레이를 정성적으로 평가합니다. 그 결과 랜덤 네트워크 증류가 슛 정확도를 높이고, 게임플레이 지표에서 달성된 낮은 표준편차로 나타나듯 더 높은 행동 안정성을 달성함을 확인했습니다. 코드는 https://github.com/electronicarts/marling 에서 확인할 수 있습니다.