공유 워크스페이스 인간-AI 팀에서 Collaborative Gym과 DiscoveryBench 과업으로 1,482세션을 분석한 결과, 조율 구조가 없으면 관련 협력자를 추가해도 프로세스 손실로 성능이 오히려 떨어질 수 있음을 확인했다. 공유 그룹 메모리와 시뮬레이션 인간 개입 루프(HITL) 게이트를 결합한 스캐폴딩은 책임 신호와 전문 지식 전달을 강화해 특히 3인 팀의 평균 성능을 높였으며, 팀이 보유한 능력만큼 협업 방식이 중요함을 보여준다.
대규모 언어 모델(LLM) 학습을 위한 강화학습 파이프라인은 종종 단계 간에 수동으로 재설계된 환경에 의존하며, 이는 실무자들이 현재 정책을 가장 잘 개선할 구성을 휴리스틱하게 추론해야 함을 요구한다. 이 과정을 자동화하기 위해, 현재 정책 모델이 실패 궤적과 맥락 정보를 함께 분석하고 다음 단계 학습 환경 구성에 대한 수정을 제안하는 LLM-as-Environment-Engineer 프레임워크를 제안한다. 또한 생성기가 다차원 환경 구성을 노출하는 제어 가능한 테스트베드인 MAPF-FrozenLake를 도입하여, 환경 재설계의 연구 및 벤치마킹에 적합하도록 한다. 이 테스트베드에서 환경 엔지니어를 정책 행동, 실패 사례, 환경 통계에 대한 구조화된 요약에 조건화하여 다음 학습 단계를 위한 구성을 생성한다. Qwen3-4B를 백본으로 사용하여, 우리 프레임워크는 벤치마크에서 최고의 종합 성능을 달성하며, 더 큰 독점 LLM(예: GPT, Gemini) 및 고정 환경 학습 베이스라인을 능가한다. 또한 어떤 형태의 맥락이 가장 효과적인지 분석한 결과, 성공적인 환경 업데이트는 실패 증거에 의존하며 이미 작동하는 구성을 유지함을 발견한다. 흥미롭게도, 현재 RL 체크포인트는 원래 베이스 모델보다 더 나은 환경 엔지니어 역할을 하며, 이는 정책 학습이 모델의 남은 약점을 진단하는 능력을 향상시킴을 시사한다.
다중모달 검색-증augmented 생성(M-RAG)은 대규모 비전-언어 모델을 향상시키지만, 교차 모달 환각, 인과적 허구, 아첨(sycophancy)에 매우 취약하다. 또한 기존 완화 파이프라인은 종종 개입 역설에 직면한다. 정적 규칙은 불필요하게 정확한 생성을 방해하는 경향이 있는 반면, 다중모달 추론을 완전히 무안내로 두면 기존 불일치가 심각한 논리적 허구로 연쇄적으로 확대될 수 있다. 이러한 환각을 정량화하고 완화하기 위해, 우리는 변분 자유 에너지(VFE)와 내부 어텐션 상태에 의해 구동되며 개입을 동적으로 게이팅하는 다중 에이전트 시스템 MODE-RAG를 제안한다. 고위험 쿼리는 다섯 개의 단계별 에이전트로 라우팅되며, 엄밀한 인과 도출을 위해 몬테카를로 트리 탐색(MCTS)을 통합하고 아첨을 억제하기 위해 로짓 교란을 적용한다. 전담 Correction 및 Overseer 에이전트는 형식 안정성을 보장하고 사후 사실 검증을 수행한다. 우리의 접근법을 객관적으로 평가하기 위해, MultiVent 데이터셋에서 파생된 도전적인 부분집합 ModeVent를 도입한다. 광범위한 실험은 우리 시스템이 환각률과 논리적 허구를 효과적으로 줄이고 M-RAG 시스템의 견고성을 크게 향상시킨다는 것을 보여준다.
팀 내에서 인간이 어떻게 협력하고 의사소통하는지 이해하는 것은 인간-에이전트 팀워크와 AI 보조 의사결정을 개선하는 데 필수적입니다. 그러나 물류적, 윤리적, 실무적 제약으로 인해 대규모 사용자 연구 데이터에만 의존하는 것은 비현실적이므로, 다양한 인간 행동을 합성하는 모델이 필요합니다. 최근 대규모 언어 모델(LLM) 기반 에이전트가 사회적 환경에서 인간 유사 행동을 모방할 수 있는 것으로 나타났습니다. 하지만 다양한 행동의 대규모 세트를 얻으려면 프롬프트를 설계하는 수동적인 노력이 필요합니다. 한편, 품질 다양성(Quality Diversity, QD) 최적화는 다양한 강화학습(RL) 에이전트 행동을 생성할 수 있는 것으로 입증되었습니다. 본 연구에서는 QD 최적화와 LLM 기반 에이전트를 결합하여 장기간, 다단계 협업 환경에서 다양한 팀 행동을 생성하는 프롬프트를 반복적으로 검색합니다. 먼저 인간 대상 실험을 통해 인간이 이 영역에서 다양한 조정 및 의사소통 행동을 보임을 보여줍니다. 그 다음 대규모 데이터 수집 없이는 관찰하기 어려운 행동을 우리의 접근 방식이 포착한다는 것을 보여주는 일련의 실험을 제시하고, 생성된 행동이 인간과 유사하다는 것을 보여주는 후속 사용자 연구를 수행했습니다. 우리의 연구 결과는 QD와 LLM 기반 에이전트의 결합이 다중 에이전트 협업에서 팀워크 및 의사소통 전략을 연구하는 데 효과적인 도구임을 강조합니다.
원격 탐사 비전-언어 모델(RS-VLMs)은 지구 관측 분석을 시각적 해석과 명령 수행 쪽으로 발전시켰으나, 툴 기반 공간 추론과 구조화되고 증거에 기반한 의사결정을 요구하는 운영 지리정보에는 미치지 못합니다. 우리는 43가지 질문 유형과 5개 작업군(산림 벌채 모니터링, 다중 재해 분석, 건물 피해 평가, 홍수 안전 경로 탐색, Sentinel-1 SAR 홍수 모니터링)에 걸쳐 2,921개의 검증된 인스턴스를 포함하는 운영 지리공간 재난 추론 벤치마크인 GeoDisaster를 소개합니다. 인스턴스는 위험 감지, 피해 평가, 노출 추정, 진단 보고서 생성에 걸쳐 광학 및 SAR 영상, 래스터 마스크, 벡터 지오메트리, 도로 네트워크, 노출 레이어와 같은 이질적인 EO/GIS 증거를 통합합니다. 정답(ground-truth)은 실행 가능한 지리공간 워크플로우와 결정론적 일관성 검사에 기반하므로 언어 모델 주석이 필요 없습니다. 또한, 우리는 18개의 재난 지향 도구가 포함된 조율된 멀티 에이전트 프레임워크를 제안합니다. 여기서 역할 전문화 에이전트는 명시적 실행 계약을 통해 조율되며, 역할-계약 기대 정렬(RCEA), 즉 밀집된 단계 수준 신호에 대한 계약 기반 강화학습과 결합된 실패 인식 지도 미세조정을 통해 정렬됩니다. 실험 결과, GeoDisaster는 기존 RS-VLM 및 에이전트 시스템에 도전 과제를 제시하는 반면, RCEA는 도구 사용, 증거 그라운딩, 상태 일관성 및 의사결정 생성을 향상시킵니다.
에이전트가 전략적 상호작용을 통해 무엇을 달성할 수 있는지에 대한 추론은 다중 에이전트 시스템(MAS)의 핵심 과제입니다. ATL과 같은 전략적 능력에 대한 논리는 엄밀한 방법을 제공하지만, 전략 합성의 계산 비용으로 인해 채택이 종종 방해받습니다. 우리는 대규모 언어 모델(LLM)을 MAS의 모델 검증 파이프라인에 통합하는 뉴로-심볼릭 프레임워크를 소개합니다. LLM은 전략 생성 오라클로 작용하여 후보 전략을 제안하고, 이는 표준 MAS 모델 검증기에 의해 형식적으로 검증됩니다. 이 생성-검증(generate-and-certify) 아키텍처는 형식적 건전성을 유지하면서 LLM의 안내를 사용하여 거대한 조합적 전략 공간을 탐색합니다. 즉, 생성된 전략은 검증기에 의해 검증될 때만 수락됩니다. 우리는 NatATL에서의 유한 전략 추론을 위해 이 프레임워크를 구체화하고, 4211개의 인스턴스로 구성된 첫 번째 NatATL 전략 합성 데이터셋을 소개합니다. 오픈 가중치(open-weight) Qwen3-32B 모델을 사용한 실험 결과, 우리의 검증된 파이프라인이 전략 합성 결과에서 92%의 정확도를 달성함을 보여줍니다.
점점 더 정교한 사이버 공격이 확산됨에 따라, 현대 네트워크에는 강화학습(RL)으로 학습된 지능형 자율 사이버 방어 에이전트가 필요하다. 이러한 에이전트는 행동 트리(behavior tree)와 학습 활성화 구성요소(LEC) 같은 신경기호적 접근법을 사용하여 중요 운영을 유지하면서 학습하고, 추론하고, 적응하며, 보안 규칙을 구현한다. 그러나 이러한 자율 네트워크는 부분 관측 가능(partially observable) 시스템이며, 즉 사이버 공격자(레드 에이전트)의 행동은 관측할 수 없어 방어자가 레드 행동을 예측하고, 레드 정책을 학습하거나, 공격자의 침입 수준을 평가하기 어렵다. 이를 해결하기 위해, 우리는 이산 상태와 이산 행동을 가진 부분 관측 가능 강화학습 에이전트의 정책을 학습하기 위해 모방 학습(imitation learning)을 사용하는 정책 학습 기법(Policy Learning Technique)을 제안한다. 우리는 이 기법을 자율 사이버 환경에 적용하여 네트워크 관측 및 방어자 행동으로부터 레드 에이전트의 행동을 예측한다. 신경기호 사이버 방어 에이전트와 통합된 본 방법은 다양한 레드 정책을 효과적으로 처리하며, 다양한 시뮬레이션 시나리오에서 높은 예측 정확도를 달성한다.
공정성은 다목표 강화학습(MORL)에서 의사결정의 중요한 측면이며, 정책은 여러 상충할 수 있는 목표에 걸쳐 최적성과 형평성을 모두 보장해야 한다. 단일 정책 MORL 방법은 일반화 지니 복지 함수(GGF)와 같은 복지 함수를 사용하여 고정된 사용자 선호에 대한 공정한 정책을 학습할 수 있지만, 동적이거나 알려지지 않은 사용자 선호에 필요한 다양한 정책 집합을 제공하지 못한다. 이 한계를 해결하기 위해, 우리는 다정책 MORL에서 공정 최적화 문제를 공식화하며, 여기서 목표는 모든 가능한 사용자 선호에 걸쳐 공정성을 보장하는 파레토 최적 정책 집합을 학습하는 것이다. 핵심 기술적 기여는 세 가지이다: (1) 오목하고 조각선형 복지 함수(예: GGF)에 대해, 공정 정책이 선형 스칼라화에 대한 근사 파레토 전선인 볼록 커버리지 집합(CCS)에 남아 있음을 보인다. (2) 누적 보상 이력으로 보강된 비정상성(non-stationary) 정책과 확률적 정책이 역사적 불평등에 동적으로 적응함으로써 공정성을 향상시킴을 입증한다. (3) GGF를 다정책 다목표 Q-학습(MOQL)에 통합하는 것, 비정상성 정책 학습을 위한 상태 증강 다정책 MOQL, 그리고 확률적 정책 학습을 위한 새로운 확장을 포함하는 세 가지 새로운 알고리즘을 제안한다. 우리는 다양한 도메인에서 알고리즘을 평가하고 방법을 최신 MORL 기준선과 비교한다. 실험 결과는 우리 방법이 서로 다른 사용자 선호를 수용하는 공정 정책 집합을 학습함을 보여준다.
환경 내 물리적 행동과 제약에 적응하는 능력은 구현된 에이전트(예: 로봇)가 인간과 효과적으로 협업하는 데 필수적입니다. 이러한 물리적으로 기반한 인간-AI 협업은 연속적인 상태-행동 공간의 증가된 복잡성과 물리적 제약으로 인한 제한된 동역학을 고려해야 합니다. 그러나 기존의 대부분 협업 벤치마크는 이산적이거나 물리적 속성과 제약을 고려하지 않습니다. 이를 해결하기 위해 우리는 Moving Out을 소개합니다. 이는 무거운 물건을 함께 옮기거나 모서리를 돌아 물건을 이동시키기 위해 행동을 조율하는 것과 같이 물리적 속성과 제약의 영향을 받는 다양한 협업 방식을 모사하는 인간-AI 협업 벤치마크입니다. Moving Out은 두 가지 과제와 인간-인간 상호작용 데이터로 구성되어, 다양한 인간 행동과 보지 못한 물리적 속성에 적응하는 모델의 능력을 종합적으로 평가합니다. 물리적 속성과 제약 하에서 인간과 협업하는 능력을 구현된 에이전트에 부여하기 위해, 우리는 에이전트의 다양성과 행동 결과에 대한 이해를 향상시키는 새로운 방법인 BASS(행동 증강, 시뮬레이션, 선택)를 제안합니다. 우리는 AI-AI 및 인간-AI 실험에서 BASS와 최신 모델을 체계적으로 비교하여, BASS가 보지 못한 AI 및 인간 모두와 효과적으로 협업할 수 있음을 보입니다. 프로젝트 페이지는 https://live-robotics-uva.github.io/movingout_ai/ 에서 확인할 수 있습니다.
다중 에이전트 시스템에서의 협력은 일반적으로 전체적인 효율성을 극대화하는 공리주의적 목적 함수를 통해 최적화되지만, 이는 보상 분배를 고려하지 못해 종종 불평등한 '리더-팔로워' 역학 구조를 초래한다. 공정성 기반 접근법은 모든 에이전트가 협력으로부터 이익을 얻는 친사회적 행동을 장려하지만, 보상 형성(reward shaping)을 활용하는 방법을 포함한 많은 현재 알고리즘들은 마르코프 게임의 정상성(stationarity)을 깨거나 엄밀한 이론적 보장을 결여하고 있다. 이는 공정한 목적 함수 방법과 이론적으로 안전한 학습 프레임워크 사이에 중대한 간극을 만든다. 본 연구는 $α$-공정성과 이질적 에이전트 신뢰 영역 학습(HATRL, Heterogeneous-Agent Trust Region Learning)을 연결하는 새로운 프레임워크를 제안하며, 단조적 개선과 내쉬 균형으로의 수렴을 보장한다. 제안하는 접근법은 에이전트의 기대 수익에 따라 에이전트 유틸리티를 동적으로 가중하는 공정 어드밴티지 함수를 활용하여, 파라미터 $α$에 따라 전역 목적 함수가 순수한 공리주의적 효율성에서 $α$-공정 복지로 전환될 수 있도록 한다. 우리는 두 가지 실용적인 알고리즘인 $α$-fair HATRPO와 $α$-fair HAPPO를 제안하고, CleanUp 및 CommonHarvest와 같은 순차적 사회적 딜레마 환경에서의 실험을 통해 공리주의적 관점에서 HATRL 알고리즘보다 우수한 성능을 달성하면서도 사회적으로 더 높은 수준의 결과를 달성함을 입증한다.
기존 확산 모델 기반 오프라인 강화학습이 다중 에이전트 환경의 안전성 문제를 다루지 못하는 점을 해결하기 위해, 신경망 기반 개별 제어 장벽 함수를 확산 모델에 통합하여 궤적 생성 시 안전성을 강화하는 알고리즘을 제안합니다. 제안된 방법은 다양한 벤치마크에서 경쟁력 있는 보상을 유지하면서도 안전성을 크게 향상시킵니다.
실드 강화학습(Shielded RL)의 자동태 이론적 기계를 런타임 제약이 아닌 네트워크 방어를 위한 설계 시점 분석 도구로 재정의하여, 제약된 2인 안전 게임을 통해 방어 가능성 판정과 지문을 도출합니다. 이를 통해 형식적 안전성과 운영적 효과성이 보안의 서로 다른 측면임을 밝히고, 시스템 아키텍처의 방어 가능성을 분석하는 데 실드 합성이 효과적임을 보여줍니다.
3면 시장(three-sided marketplace)의 디스패치(dispatch) 환경에서 지연된 피드백을 통해 목적 함수 가중치를 적응적으로 조절하는 강화학습 시스템을 소개한다. 기존 최적화 도구를 대체하지 않고 상점 수준의 정책이 이산형 승수를 선택하도록 학습하여 배칭(batching) 효율을 개선하고 배달 품질을 저하시키지 않음을 입증했다.
대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 전문화된 에이전트를 조율하기 위해 효과적인 오케스트레이션이 필요하지만, 이러한 오케스트레이터를 학습하는 것은 제한된 감독(supervision)과 높은 계산 비용으로 인해 어렵다. 우리는 인간 어노테이션 없이 오케스트레이션 품질을 평가하는 자기지도(self-supervised) 프레임워크인 오케스트레이션 보상 모델링(Orchestration Reward Modeling, OrchRM)을 제안한다. OrchRM은 다중 에이전트 실행의 중간 산출물(intermediate artifacts)을 활용하여 Bradley-Terry 보상 모델(reward model) 학습을 위한 승-패(win-lose) 쌍을 구성한다. 값비싼 하위 에이전트(sub-agent) 롤아웃(rollout)에 의존하는 기존 MAS 테스트 시점 스케일링(test-time scaling) 및 오케스트레이터 학습 프레임워크와 달리, OrchRM은 오케스트레이션 수준에서 직접 작동하여 효율적이고 고성능의 보상 가이드(reward-guided) 오케스트레이터 학습 및 MAS 테스트 시점 스케일링을 가능하게 한다. OrchRM은 토큰 사용량에서 최대 10배의 학습 효율을 향상시키면서, 정확도에서 MAS 테스트 시점 스케일링 성능을 최대 8%까지 개선한다. 이러한 이득은 수학적 추론, 웹 기반 질의응답, 다중 홉(multi-hop) 추론을 포함한 여러 도메인에서 일관되게 전이되어, 오케스트레이션 수준 보상 모델링이 견고한 다중 에이전트 오케스트레이션을 위한 확장 가능한(scalable) 방향임을 보여준다. 코드는 https://github.com/Wang-ML-Lab/OrchRM 에서 제공될 예정이다.
다중 에이전트 시스템(MAS)이 단일 에이전트 시스템(SAS)보다 우월하다는 통념을 검증하기 위해 자동 생성된 MAS와 Chain-of-Thought with Self-Consistency(CoT-SC)를 비교 평가했습니다. 그 결과 자동 생성된 MAS는 최대 10배 높은 비용에도 불구하고 성능이 뒤처지며, 현재의 자동 설계 방식이 기능적 효용 없는 과도한 복잡성을 초래하는 문제를 지적했습니다.
최근 이미지 생성기는 단일 이미지 생성 및 편집에서 인상적인 실사(photorealism) 품질과 인스트럭션 준수(instruction-following) 능력을 보여주었다. 그러나 아키텍처의 제약으로 인해 시각적 내러티브, 가이던스, 체화된 조작(embodied manipulation)에서 중요한 응용을 갖는 교차 생성(text-image sequence)을 달성할 수 없다. 최신 오픈소스 통합 멀티모달 모델(Unified Multimodal Models, UMM)조차 이 면에서 제한적인 성능을 보인다.
본 논문에서 우리는 기존의 어떤 이미지 생성기에도 교차 생성 능력을 부여하도록 설계된 최초의 멀티에이전트(multi-agent) 파이프라인인 InterleaveThinker를 제안한다. 구체적으로, 플래너 에이전트(planner agent)를 사용하여 이미지-텍스트 입력 시퀀스를 구성하고, 각 단계에서 필요한 실행을 이미지 생성기에 지시한다. 이후 크리틱 에이전트(critic agent)를 도입하여 생성기의 출력을 평가하고, 계획된 지시에서 벗어난 샘플을 식별하며, 재생성을 위해 지시를 정제한다.
이 파이프라인을 구현하기 위해, 형식 콜드스타트(format cold-start)를 수행하는 Interleave-Planner-SFT-80k와 Interleave-Critic-SFT-112k를 구성한다. 그다음 GRPO를 사용하여 생성 궤적(generation trajectory) 내 단계별 지시 교정 능력을 강화하는 Interleave-Critic-RL-13k를 개발한다. 단일 교차 생성 궤적은 25회 이상의 생성기 호출을 포함할 수 있으므로, 전체 궤적을 최적화하는 것은 계산적으로 비현실적이다. 따라서 정확도 보상(accuracy reward)과 단계별 보상(step-wise reward)을 제안하여, 단일 단계 강화학습(RL)이 전체 생성 궤적을 효과적으로 안내할 수 있게 한다.
결과는 InterleaveThinker가 다양한 이미지 생성기에서 성능을 향상시킴을 보여준다. 교차 생성 벤치마크에서 Nano Banana 및 GPT-5에 필적하는 성능을 달성한다. 놀랍게도 추론 기반 벤치마크에서도 기본 모델을 크게 향상시킨다. 예를 들어 4-step FLUX.2-klein에서 WISE와 RISE에서 상당한 성능 향상을 관찰한다.
협동적 다중 에이전트 강화학습(MARL)의 분산 학습 및 분산 실행(DTDE)에서, 행동 조언(action-advising) 기반 지식 공유는 에이전트 간의 해석 가능하고 확장 가능한 협력을 촉진합니다. 그러나 현재의 행동 조언 접근법은 교사-학생 호환성을 평가하지 않고 교사의 지도에 지나치게 의존하는 경향이 있어, 과도한 조언, 준최적의 안정성, 그리고 성능 저하를 초래합니다. 이러한 문제를 극복하기 위해, 본 논문은 합의 기반 통신 및 지식 공유(CCKS) 프레임워크를 제시합니다. 이 프레임워크는 에이전트가 합의에서 파생된 제약 조건을 기반으로 추천을 채택하고 교사의 지시를 더 지능적으로 따르도록 합니다. 이 메커니즘은 에이전트가 탐험과 경험 많은 교사로부터의 학습 사이의 균형을 맞추게 하여 전반적인 성능을 향상시킵니다. 핵심은 합의 모델 구성으로, 본 연구에서는 에이전트의 학습 단계에서 로컬 관찰을 기반으로 합의 모델을 구성하기 위해 대조 학습을 활용할 것을 제안합니다. 행동 선택 시, 에이전트는 합의와 공유된 지식을 기반으로 행동에 점수를 매기고 선택합니다. 플러그 앤 플레이 솔루션으로 설계된 CCKS는 기존 DTDE 알고리즘과 완벽하게 통합됩니다. Google Research Football 환경과 복잡한 StarCraft II Multi-Agent Challenge에서 수행된 실험은 CCKS와의 통합이 현재 DTDE 기준선과 비교하여 협력 효율성, 학습 속도 및 전반적인 성능을 크게 향상시킴을 입증합니다. 코드는 https://github.com/yuanxpy/CCKS에서 확인할 수 있습니다.
교통 조정에서 자원 할당에 이르기까지 현실의 다중 에이전트 시스템(multi-agent system)은 종종 개인의 인센티브가 집단의 복지와 충돌하는 일반 합 게임(general-sum game)으로 모델링됩니다. 이러한 설정에서 핵심 과제는 단순히 평형(equilibrium)을 찾는 것이 아니라, 많은 비최적 내시 평형(Nash equilibrium) 중 사회적으로 바람직한 결과를 선택하는 것입니다. 표준 심층 다중 에이전트 강화학습(MARL) 방법들은 이 문제에 어려움을 겪는데, 가치 분해(value-decomposition) 접근 방식은 단조성(monotonicity) 가정에 의해 제한되고 정책 그래디언트(policy-gradient) 방법은 종종 안정적이지만 사회적으로 비효율적인 평형으로 수렴하기 때문입니다. 이러한 한계를 해결하기 위해, 우리는 학습을 높은 복지의 상관 평형(CE)으로 유도하기 위해 스왑 후회(swap regret) 최소화를 활용하는 프레임워크인 $Φ$-Actor-Critic ($Φ$-AC)를 제안합니다. 심층 MARL에서 반사실적 후회(counterfactual regret) 추정을 다루기 쉽게 만들기 위해, $Φ$-AC는 계산 비용이 많이 드는 반사실적 시뮬레이션을 피하고 단일 순전파(forward pass)에서 벡터 값 후회를 예측하는 중앙화된 어텐션 비평가(attention critic)를 사용합니다. 또한, 우리는 후회 제약을 통해 안정성을 강화하면서 사회적 복지를 최적화하는 라그랑주 기반 평형 선택 메커니즘을 도입합니다. 행렬 게임, 다중 에이전트 입자 환경(MPE), 및 Melting Pot Harvest 시나리오에 대한 실험은 $Φ$-AC가 높은 집단 수익과 경쟁적 공정성을 유지하면서 다양한 혼합 동기 설정(mixed-motive settings)에서 효율적이고 안정적인 조정 전략을 학습함을 보여줍니다.
랜데부는 다중 에이전트 시스템의 핵심 과제로, 에이전트들이 명시되지 않은 위치에서 만나도록 조율해야 하는 작업입니다. 그러나 유체 환경에서 이를 달성하는 것은 어려운 과제입니다. 에이전트가 수렴(convergence)을 촉진하기 위해 기저 유체 운동학을 어떻게 활용할 수 있는지 여전히 불분명하기 때문입니다. 본 연구에서는 와류 흐름(vortical flows) 내에서 물리 정보를 활용한 랜데부 전략을 개발하기 위해 다중 에이전트 강화학습(MARL) 접근 방식을 채택합니다. 에이전트가 상대방을 향해 이동하는 단순한 전략(naive strategy)과 비교할 때, MARL 전략은 랜데부 성공률을 유의미하게 향상시킵니다. MARL 전략은 또한 변화하는 와류 강도, 와류 규모, 군집(swarm) 크기에 걸쳐 전이 가능성을 보여줍니다. 상태-행동 맵(state-action map)의 대칭성을 깨봄으로써, MARL 전략은 에이전트가 분리된 와류에 갇히는 것을 방지하는 직관적이지 않은 메커니즘을 활용하여 랜데부 성공을 증진시킵니다. 또한, 학습된 전략에서 휴리스틱 전략(heuristic strategy)을 추출하였으며, 이 역시 단순한 전략보다 우수한 성능을 보입니다. 더불어, 이론적 분석을 통해 유체 변형(fluid deformation)이 랜데부 과정을 방해함을 입증합니다. 큰 유한 시간 리아푸노프 지수(finite-time Lyapunov exponents)는 유체 효과가 인접한 에이전트를 분리시키는 위치를 식별하며, 이는 목표가 약한 변형 영역(weak-deformation regions)에서 계획되어야 함을 시사합니다. 우리의 연구 결과는 에이전트-유체 상호작용이 다중 에이전트 작업에서 수행하는 중요한 역할을 밝혀내며, 복잡한 흐름 환경에서 군집 지능(swarm intelligence)을 탐색하는 MARL의 능력을 강조합니다.
6G 연결형 로봇공학의 비전을 실현하려면 고성능 협업 제어와 물리적 무선 채널의 엄격한 스펙트럼 제한을 조화시켜야 합니다. 현실적인 협업 감지 시나리오에서 스펙트럼 자원은 유한한 물리적 자원 블록이나 직교 부반송파로 양자화되어, 모든 에이전트의 동시 전송을 불가능하게 만듭니다. 이를 해결하기 위해 우리는 엄격한 순간 대역폭 상한 하에서 강건하고 위험 인지 협조를 유지하도록 설계된 제어 아키텍처인 다중 에이전트 시맨틱 K-스케줄링(MASK)을 제안합니다. 우리는 로컬에서 계산된 시맨틱 중요도 점수를 기반으로 상위 K개 에이전트만 스케줄링하여 엄격한 접근 제약을 시행하는 경량화된 협조 메커니즘인 중재자 보조 시맨틱 정보 게이팅(A-SIG)을 도입합니다. 우선순위가 부여된 이러한 관찰들을 압축된 잠재 상태로 집계함으로써, 자기지도 학습 글로벌 인코더는 데이터 희소성(sparsity)에도 불구하고 꼬리 위험을 완화할 수 있는 분포적 정책을 가능하게 합니다. 우리는 다양한 벤치마크에서 MASK를 평가하여, 채널 접근이 군집 크기의 작은 비율로 제한되는 경우에도 통신 제약이 없는 베이스라인의 성능과 일치함을 입증했습니다. 또한, 이 프레임워크는 패킷 소실에 대한 내재적 복원력을 보여주어, 자원 제약이 있는 6G 시스템을 위한 핵심 요소로서 시맨틱 스케줄링의 유효성을 검증합니다.