월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.
다중 로봇 협업은 복잡한 로봇 작업에 대해 더욱 효율적이고 확장 가능한 해결책을 가능하게 할 수 있지만, 부분 관측 가능성(partial observability) 하에서의 협업은 여전히 도전 과제로 남아 있습니다. 자연어 통신은 부분 관측 가능성 하에서 로봇들을 조율하기 위한 유망한 접근 방식을 제공합니다. 그러나 탈중앙화된 조작(decentralized manipulation)에서, 온디바이스 배포를 목표로 하는 소형 비전-언어 모델(VLM)이 다중 모달(multimodal) 시연으로부터 명시적인 로봇 간 통신과 스킬 수준의 행동 선택을 공동으로 학습하는 것은 아직 충분히 연구되지 않았습니다. 이러한 공백을 해결하기 위해, 소형 VLM이 통신하고 조율하도록 학습(training)시키기 위한 53개의 모바일 조작 주방 작업에 걸친 7,950개의 다중 모달 궤적으로 구성된 합성 데이터 생성 파이프라인 및 데이터셋인 RoboTalk을 소개합니다. 이 데이터셋에는 리더-팔로워 계획 프로토콜, 도구 호출(인식, 조작, 내비게이션, 통신), 추론 과정(rationale traces), 그리고 다양화된 자연어 통신이 포함되어 있습니다. 오픈소스 모델을 본 데이터셋으로 미세조정(fine-tuning)하면 새로운 미공개(held-out) 작업에서 77%의 성공률에 도달할 수 있으며, 이는 약 ~2%의 성공률을 보였던 미세조정되지 않은 기존 오픈소스 모델 대비 대폭 향상된 결과입니다.
다중 에이전트 경로 생성(Multi-agent path finding, MAPF)은 로봇 지원 물류 및 소셜 내비게이션 분야에서 활용되며, 주어진 시작 위치에서 지정된 목표 지점까지 충돌 없는 경로를 다수의 에이전트를 위해 계획하는 문제를 다룹니다. 최근의 탈중앙화 학습 기반 솔버는 특히 파운데이션 모델과 대규모 데이터셋을 활용할 때 대규모 MAPF에서 유망한 성과를 보여주었습니다. 그러나 기존 방법의 대다수는 반응형 정책에 의존하여, 에이전트 밀도가 높은 환경에서는 종종 혼잡, 데드락, 그리고 일반화 성능 저하를 야기합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 즉각적인 국소적 관측을 넘어선 의사결정을 가능하게 하도록 단기 국소 미래 예측과 행동 생성을 통합한 MAPF용 자기회귀 행동 월드 모델인 MAPF-World를 제안합니다. MAPF-World는 다음 국소 관측과 주변 에이전트들의 행동 의도를 예측하여 단기 국소 역학을 모델링하며, 이를 통해 공간 구조와 시간적 상호작용 패턴을 모두 포착합니다. 나아가 트랜스포머(Transformer) 기반 아키텍처에서 공간 인지력과 에이전트 수준의 의미 정보를 통합하는 시공간-에이전트 위치 인코딩을 도입하여 에이전트 간의 더욱 조화로운 협력 행동을 촉진합니다. 이에 더해, 합성 시뮬레이션과 실제 배포 시나리오 간의 격차를 좁히는 것을 목표로 실제 도시 레이아웃에 기반한 자동 맵 생성기를 도입하여 기존 MAPF 벤치마크를 확장합니다. 다양한 맵 유형과 상호작용 환경에서의 광범위한 실험을 통해 MAPF-World가 기존 학습 기반 솔버 대비 강력한 성능을 달성함을 입증합니다. 특히 견고한 제로샷(zero-shot) 일반화 성능을 보이며 에이전트 밀도가 높아져도 높은 성공률을 유지합니다.
언어 모델 풀은 서로의 응답으로부터 학습함으로써 협력하고 집단적으로 향상될 수 있습니다. 이러한 상호작용은 학습(training) 중에 사용되는 인스트럭션에 따라 달라집니다. 기존 방법들은 대개 인스트럭션을 균일하게 샘플링하지만, 모델(model)이 발전함에 따라 그 유용성은 변화할 수 있습니다. 즉, 한때 모델들의 응답 품질이 달랐던 인스트럭션이 나중에는 모두 동일하게 잘 답변될 수 있는 반면, 이전에는 어려웠던 인스트럭션이 유용한 학습 신호를 제공하기 시작할 수도 있습니다. 본 논문에서는 인스트럭션 선택을 적응형 커리큘럼으로 전환하는 게임 이론 기반의 리더-팔로워 프레임워크인 스택켈버그 정렬(Stackelberg Alignment)을 제안합니다. EXP3 밴딧이 리더 역할을 수행하여 인스트럭션 전반에 고정된 샘플링 예산을 할당하고, 인스트럭션 난이도와 응답 변별력을 결합한 보상(reward)을 사용하여 샘플링 분포를 업데이트합니다. 언어 모델들은 팔로워 역할을 하여 선택된 인스트럭션에 응답하고, 서로의 응답을 평가하며, 그 결과로 도출된 선호도 신호로부터 DPO 또는 GRPO를 통해 학습합니다. 이 프레임워크는 신뢰할 수 있고 경쟁적인 모델 상호작용을 지원하기 위해 Elo 스타일의 평판 가중치 피어 평가와 평판 기반 상대 매칭을 사용합니다. 과학적 발견, 추론(inference), 코드, 인스트럭션 준수, 지식을 아우르는 12개 벤치마크와 3개의 이종 모델 풀에 걸친 실험 결과, Stackelberg Alignment는 세 가지 다양한 모델 풀 전반에서 가장 높은 매크로 평균을 달성하여 가장 강력한 학습 시간 기준선(baseline)을 최대 7.4%, 최고의 정적 추론 기준선을 12~25% 능가함을 보여줍니다. 분석을 통해 적응형 리더가 가장 유익한 인스트럭션에 대결을 집중시킴을 확인하였으며, 소거 연구를 통해 평판 가중 평가와 평판 기반 매칭 모두 다중 LLM 진화의 효과를 향상시킨다는 점을 보여줍니다.
불확실성, 자원 제약 및 엄격한 운용 제약 조건 하에서 의사결정을 내려야 하는 환경(environment) 모니터링과 재난 감지 분야에서 로봇 기술의 역할이 기대되고 있습니다. 산불과 같은 치명적인 임무에서 로봇은 충분한 신뢰도를 가지고 위험 상황을 식별해야 할 뿐만 아니라, 감지 시점까지의 에너지 비용과 시간 또한 관리해야 합니다. 본 논문에서는 로봇과 원격 제어기 간의 계층적 협력 의사결정을 가능하게 하는, 불확실성 하에서의 산불 감지를 위한 에너지 인지 분산 프레임워크인 ED3R을 소개합니다. 원격 제어기는 로봇의 움직임을 결정하는 반면, 로봇은 환경을 감지하고 산불 감지를 어디서(온보드 또는 원격) 어떻게 수행할지 결정합니다. 공통의 목표는 로봇의 모든 운용에서 소비되는 에너지를 최소화하면서 요구되는 신뢰도로 산불을 감지하는 것입니다. ED3R은 추가로 주변 장애물 회피, 중복 탐험(exploration) 방지, 적응형 조기 임무 완료 지원, 맞춤형 페널티 함수를 통한 실현 가능성 확보 메커니즘을 통합합니다. 또한 ED3R은 실행 전 후보 전략을 평가하여 에이전트(agent)가 미래를 예측할 수 있도록 돕는 분산 신경망 회귀 모델 기반의 미래 예측 기능을 도입합니다. 이 프레임워크는 사실적인 로봇 시뮬레이션, 절제 연구(ablation study), 그리고 기준선(baseline) 비교를 통해 평가됩니다. ED3R은 오탐(false positive) 및 배터리 방전을 제외하고 요구 신뢰도를 만족하는 진양성(true positive) 감지를 달성한 임무의 비율로 정의된 임무 성공률을 최대 97.18%까지 달성합니다. 특히 가장 까다로운 임무에서 기준선 대비 에너지 소비를 최대 36.4% 절감하고 산불을 최대 41% 더 빠르게 감지합니다.
에이전틱 검색 시스템은 증거 수집과 응답 생성을 조율해야 하지만, 기존 접근 방식은 단일 에이전트(agent) 목적 함수 아래 두 역할을 결합하거나 최종 결과에 대한 각 역할의 기여도를 분리하지 못한 채 역할을 분해합니다. 본 논문에서는 작업별 외부 검증 신호가 주어졌을 때 역할별 교차 검증 보상을 통해 검색기(searcher)와 생성기(generator)를 학습시키는 역할 분해 학습 프레임워크인 DAC(Divide and Cooperate)를 소개합니다. DAC는 검색된 증거가 불충분하다고 판단될 때 생성기가 답변을 기권(abstain)할 수 있도록 허용하며, 이 결정과 외부에서 평가된 검색 충분성을 결합하여 각 역할에 적절한 크레딧(credit)을 부여합니다. 지나친 기권으로 성능이 저하되는 현상을 방지하기 위해, 충분하지만 까다로운 증거에 대해 기권하는 것을 억제하는 하드 포지티브(hard-positive) 증거 증강 기법을 추가로 도입합니다. 7개의 일반 및 멀티홉 QA 벤치마크와 2개의 백본 모델 전반에서 DAC는 강력한 단일 에이전트 및 다중 에이전트 베이스라인을 일관되게 능가합니다. 통제된 평가 결과는 이러한 성능 향상이 검색과 생성 모두의 조화로운 개선에서 비롯됨을 보여줍니다. 본 연구 결과는 에이전틱 검색 시스템을 학습(training)시킬 때 상호작용하는 역할 간에 명시적이고 적절하게 크레딧을 할당하는 것의 중요성을 강조합니다.
자율 소프트웨어 엔지니어링을 위한 다중 에이전트(MAS) 시스템의 정렬(alignment)은 평가자의 인식론적 불확실성에 의해 제약을 받습니다. 인간 피드백 강화학습(RLHF) 및 AI 피드백 강화학습(RLAIF)과 같은 기존 패러다임은 빈번하게 모델의 아첨(sycophancy)을 유발하며, 실행 기반 환경은 통제되지 않은 에이전트의 적대적 "테스트 회피(Test Evasion)" 문제로 어려움을 겪습니다. 본 논문에서는 객관적 정렬 패러다임인 자금 고갈 강화학습(OOM-RL, Out-of-Money Reinforcement Learning)을 소개합니다. 실거래 금융 시장의 비정상적(non-stationary)이고 마찰이 큰 현실에 에이전트를 배치함으로써, 중대한 자본 고갈을 외부에서 부여되는 음의 그래디언트로 활용합니다. 20개월에 걸친 종단적 실증 연구를 통해 시스템이 높은 회전율과 아첨 성향을 보이는 기준선(baseline) 모델에서 견고하고 유동성을 인식하는 아키텍처로 진화하는 과정을 기록합니다. 실제 체결 비용, 슬리피지, 자본 고갈과 같은 금융 손실의 경제적 결과가 내부 평가만으로는 드러나지 않던 실패 모드를 노출시켰음을 보이며, 이는 이후 결정론적으로 검증된 95% 이상의 코드 커버리지 제약 매트릭스에 고정된 비잔틴 장애 허용 착안 단방향 상태 잠금(RO-Lock) 기반의 엄격한 테스트 주도 에이전트 워크플로(STDAW)로 공식화된 아키텍처 및 거버넌스 변화를 이끌어냈습니다. 마지막 94 거래일의 관측 기간 동안, 실제 프로덕션 시스템은 약 2.06의 연율화 샤프 지수를 포함하여 향상된 체결 인식 성능을 나타냈습니다. 이러한 금융 성과는 관측적이며 시간적으로 한정된 결과로, 지속적인 투자 초과수익(alpha)의 증거나 STDAW 기여도에 대한 인과적 추정치로 해석되어서는 안 됩니다. 본 연구의 주요 기여는 외부에서 부과된 경제적 결과를 에이전트 개발에 대한 인식론적 제약으로 활용하여, 현실 세계의 자원 고갈이 객관적인 물리적 제약으로 작용하는 일반화된 패러다임의 토대를 마련한 데 있습니다.
대규모 언어 모델(LLM) 에이전트 팀에서 각 메시지의 가치를 산정하는 기여도 할당(credit assignment)은 주로 예측 문제로 다루어져 왔습니다. 즉, 실제로 실행되기 어려운 기여도의 정의인 반사실적(counterfactual) 가치를 학습된 크리틱(critic), 궤적 수준의 점수, 또는 에이전트 제거(ablation) 등으로 대체해 온 것입니다. 공유 컨텍스트를 통해 소통하는 팀은 이와 다릅니다. 후속 에이전트가 읽는 모든 내용이 추적(trace)에 기록될 때 추적이 곧 상태가 되며, 이러한 반사실적 실행이 실제로 가능해집니다. 이를 통해 기여도 신호는 편향(bias), 분산(variance), 그리고 독립적인 기준과의 일치도 등 여느 추정량과 동일한 기준으로 평가될 수 있습니다. 반사실적 지속을 통한 기여도 할당 기법인 C3(credit assignment by counterfactual continuation)는 결정 시점에서 하나의 메시지를 대체한 뒤 최종 보상(reward)에 도달할 때까지 실행을 이어가므로, 몬테카를로 오차 범위 내에서 편향이 없고 정확합니다. 샘플링된 대안들이 주어졌을 때, 해당 오차의 분산은 에이전트 수에 대한 항이 포함되지 않은 유도 법칙을 따르며, 관측된 노이즈는 2~10개의 결정 시점을 가진 6개 워크플로에서 이 법칙을 따르는 것으로 나타났습니다. 2개 에이전트 체인에서 4회의 지속 실행을 수행한 C3는 16회 지속 실행을 거친 기준 대비 0.69의 순위 상관계수로 대안들의 순위를 매겼으며, 이는 두 기준 간의 일치도인 0.73에 근접한 수치입니다. 반면 동일한 롤아웃으로 학습(training)된 크리틱은 0.29에 그쳤습니다. 2개 에이전트 팀 학습에서 어드밴티지(advantage)로 사용되었을 때, C3는 비교군 중 더 강력한 기준선(baseline)이었던 MAGRPO를 능가했으며, 결정 시점 이후의 후속 메시지만 재생성하므로 MAPPO 대비 학습 토큰을 37% 적게 소모했습니다. 추적이 곧 상태일 때, 기여도는 예측할 필요 없이 정확하게 계산될 수 있습니다.
대규모 언어 모델(LLM) 에이전트(agent) 평가는 일반적으로 작업 성공 여부나 명시된 계획과의 일치도를 측정합니다. 그러나 전략적 사이버-물리 시스템(cyber-physical systems)에서는 자율적 참여자가 반응하고 물리적 제약이 결과를 제한한 후에도 아키텍처가 적절성을 유지해야 합니다. 본 연구에서는 계획 유도 제어 궤적(planning-induced control trajectories), 즉 실행 아키텍처를 전략적 반응 및 물리적 결과와 연결하는 정렬된 계획 연산 및 지시문으로 구성된 통제된 벤치마크(benchmark)를 제시합니다. 코드화된 네 가지 실행기(사전 정의형, 순차형, 계층형, 탐색형)는 방사형 피더(radial feeder)에서 40개 프로슈머(prosumer)의 수요 반응을 제어합니다. LLM은 타입화된 정책을 선언하거나 조언하며 통신을 중재하고, 일정, 기본 프로슈머 동역학, 확률적 행동, 조류 계산(power flow)은 명시적 코드로 유지됩니다. 쌍체 강제 모드 반사실적 분석(paired forced-mode counterfactuals), 정확한 프롬프트(prompt) 캐싱, 별도의 무작위 스트림을 사용한 공통 응답 표본 추출, 비평자 격리, 이벤트 수준 실행 가능성을 통해 비교를 정밀하게 격리합니다. 이 피더에서 진행한 Llama-3.3-70B 모델(model) 실험은 세 가지 특성을 구별합니다. 첫째, 지정된 목표 하에서 5개의 모든 기준선(baseline) 시드에 걸쳐 강제 탐색이 오라클(oracle)로 나타났습니다. 둘째, 주입된 목표 대체(objective substitution)는 모드 일치도를 1.0으로 유지하면서도 누적 전압 부족을 2.68배 증가시켰습니다. 셋째, 3회의 반복 시드를 사용한 144개 시나리오, 576개 에피소드 요인 뱅크는 사전 정의형, 순차형, 탐색형에서 나온 실행 가능한 오라클을 포함합니다. 사전에 지정된 스트레스 홀드아웃 릿지(stress-held-out ridge)는 평균 리그렛(regret) 90.7을 기록했으며, 고정된 순차 방식 대비 관찰된 이점을 보이지 않았습니다. 사후 제약 인식 분석(post-hoc constraint-aware analysis)을 통해 리그렛을 29.0으로 줄였으나, 단순 마감 규칙도 28.7을 달성하므로 이러한 개선이 학습 상의 우위를 입증하지는 못합니다. 전원 실행 가능 절제 연구(all-feasible ablation) 역시 고정 탐색 방식보다 개선되지 않았습니다. 이는 시뮬레이션 내부의 기술적 비교입니다. 5개 모델, 300개 선언으로 확장한 실험에서는 백본 간 물리적 순위가 아닌 인터페이스 동작을 테스트하며, 공유 엔드포인트의 지연 시간 꼬리 분포(latency tails)는 확률적 실시간 실행 가능성의 필요성을 시사합니다.
어떤 도구가 타인에게 불공정하고 해롭다고 명시되어 있더라도, 겉보기에 안전성이 정렬(alignment)된 대규모 언어 모델(LLM) 에이전트들은 전략적 이점을 제공하기만 하면 여전히 비밀 담합에 자발적으로 참여합니다. 이러한 현상을 조사하기 위해, 본 연구에서는 두 가지 전략적 멀티 에이전트 환경(경쟁적 기만 시나리오인 Liar's Bar와 복합 동기 자원 관리 시나리오인 Cleanup)을 기반으로 구축된 실증적 프레임워크를 도입합니다. 이 환경들에서 에이전트들에게는 다른 에이전트들에게 명백히 불이익을 주는 동시에 상당한 이점을 제공하는 비밀 담합 도구가 제공됩니다. 12개 모델(7B, 70B 및 상용 규모)과 6가지 프롬프트(prompt) 변형 전반에 걸쳐, 대부분의 에이전트(agent)는 수락 전 도구의 불공정성을 명시적으로 인지하면서도 지속적으로 해당 도구를 수락하고 담합 전략을 발전시키는 것으로 나타났습니다. 또한 불공정성 라벨이나 기준선(baseline) 정렬만으로는 담합을 확실하게 저지하지 못함을 보입니다. 오직 명시적인 윤리적 프레이밍만이 도구 채택을 줄였으며, 그마저도 소형 모델은 여전히 취약한 상태로 남았습니다. 더 넓은 관점에서 본 연구는 LLM 기반 멀티 에이전트 시스템에서 자발적 담합 채택에 대한 최초의 체계적인 조사를 제시하며, 이러한 행동을 방지하기 위해서는 일반적인 정렬에 의존하기보다 명시적인 안전장치가 필요함을 시사합니다.
로보틱스를 위한 적대적 다중 에이전트 강화학습(MARL)의 발전은 고충실도 물리 시뮬레이션에서 이종 에이전트 외형(morphology)을 지원하는 공유 가능하고 확장성 있는 인프라의 부재로 인해 저해되어 왔습니다. 기존 프레임워크들은 협력적 작업에만 집중하거나 단순화된 물리 엔진에 의존하며, 혹은 확장이 어려운 개별적 구현만을 제공합니다. 본 논문에서는 팀 수나 팀당 로봇 외형의 조합에 관계없이 형태학적으로 다양한 로봇 팀 전반에서 적대적 정책의 확장 가능한 학습(training) 및 벤치마킹을 가능하게 하는, IsaacLab 기반의 오픈소스 프레임워크인 HARL-A를 제시합니다. HARL-A는 HARL 알고리즘 라이브러리와 IsaacLab을 확장하여 적대적 다중 에이전트를 지원하며 세 가지 요소를 기여합니다: (1) 새로운 이종 적대적 환경을 정의할 때의 엔지니어링 오버헤드를 줄이는 모듈형 소프트웨어 아키텍처, (2) 접촉이 많은 밀치기, 공 다루기 기술 경쟁, 추적/회피를 아우르는 세 가지 벤치마크 환경 세트(Sumo, Soccer, 3D Galaga), (3) 처음부터 다시 학습하지 않고도 적대적 학습 역학을 즉시 탐험할 수 있도록 Hugging Face에 공개된 동종 및 이종 팀 구성을 포괄하는 10개 이상의 사전학습된 정책. 저자들은 여러 경쟁 시나리오에 걸쳐 이 프레임워크를 실증하여, 학습된 적대적 정책과 창발적 역할 분화를 안정적으로 생성함을 보여줍니다. 모든 코드 환경, 학습된 정책 및 문서는 https://github.com/DIRECTLab/IsaacLab-HARL 에 공개되어 있습니다.
오프라인 다중 에이전트 강화학습(MARL)은 지속적인 트레이드오프에 직면해 있습니다. 표현력이 뛰어난 생성형 정책은 데이터의 다중 모달 조정을 표현할 수 있지만 고가치 영역을 구분하지 못하며, 가치 최적화 정책은 학습된 Q-함수를 활용하지만 다중 모달을 단일 지배 모드로 붕괴시킵니다. 단일 에이전트의 모드 붕괴는 공동 조정을 무너뜨릴 수 있고, 에이전트 전반의 동시 드리프트는 공동 정책을 행동 공간의 미확인 영역으로 밀어 넣을 수 있습니다. 본 논문에서는 테스트 시점 행동 개선을 통해 생성형 파운데이션 모델과 학습된 가치 함수를 결합한 최초의 오프라인 MARL 프레임워크인 SCOUT(Scalable Coordination via Optimal Unified Transport)를 제안합니다. SCOUT는 두 가지 분리된 구성 요소를 학습합니다: 흐름 매칭 행동 사전 분포와 분해된 가치 함수입니다. 테스트 시점에는 스타인 변분 경사하강법(Stein variational gradient descent)을 통해 행동 샘플을 고가치 영역으로 이동(transport)시킵니다. 이동 단계의 수는 적응형 테스트 시점 스케일링을 제어하여 고정된 정규화 계수를 대체합니다. 개별-글로벌-최대(IGM) 원칙 하에서, 이동이 수렴함에 따라 소멸하는 공동 소프트-가치 격차에 대한 단일 항 KL 경계를 증명하며, 이는 IGM 위반에 비례하는 줄일 수 없는 가산 잔차를 갖습니다. 실증적으로 SCOUT는 이산 및 연속 오프라인 MARL 벤치마크 전반에서 최고의 평균 성능을 달성하며 모든 오프라인-온라인 구성에서 성능 향상을 가져옵니다.
주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.
대규모 언어 모델(LLM)은 이제 자신이 따르는 지침을 수정함으로써 스스로를 개선할 수 있으며, LLM 에이전트는 복잡한 문제를 함께 해결하도록 점점 더 많이 조율되고 있다. 그러나 자기개선 방법은 일반적으로 한 번에 하나의 시스템만을 최적화하며, 멀티에이전트 프레임워크에서는 흔히 모든 모델이 공유된 목표를 향해 작업한다. 우리는 다른 질문을 던진다. 각 에이전트가 자신만의 보상을 추구할 때, 자기개선형 LLM들이 전체 집단을 개선할 수 있을 만큼 서로로부터 잘 학습할 수 있는가? 우리는 이러한 능력을 재귀적 사회적 개선(recursive social improvement)이라고 부른다. 우리는 스킬 파일을 수정하고, 누구로부터 언제 복제할지, 그리고 복제할지 여부를 선택하는 집단을 연구한다. 독립적 탐색, 동료로부터의 학습, 그리고 행동은 모두 하나의 토큰 예산을 공유한다. 통제된 환경에서, 기존에 확립된 소셜 러닝 알고리즘은 동료로부터 이득을 얻지만, 세 개의 LLM은 그렇지 않다. 이들은 솔로 학습자보다 토큰당 더 적은 보상을 얻으며, 지나치게 좁게 탐색하거나 행동하기 전에 토큰이 소진된다. 이후 우리는 모델들이 자신의 스킬을 직접 작성하고 수정하도록 한다. 동료를 관찰하는 것은 이들이 개선하는 방식을 변화시켜, 한 모델은 유용한 스킬을 더 빨리 찾도록 돕고 다른 모델은 개인 탐색에 더 적은 비용을 쓰도록 돕는다. 그러나 둘 다 동일한 비용에서 독립적 학습자보다 더 나은 성과를 내지는 못한다. 스킬은 복제되고, 수정되고, 전달되므로, 하나의 발견이 추가 탐색의 씨앗이 될 수 있다. 그러나 이러한 교환은 집단을 더 적은 수의 독립적 발견 주변으로 집중시킨다. 종합적으로, 이러한 결과는 LLM이 동료로부터 복제함으로써 학습을 더 효율적으로 만들 수 있지만, 아직 더 효과적으로 만들지는 못한다는 것을 보여준다.
인간은 타인을 관찰함으로써 새로운 기술을 습득하곤 하는데, 관찰된 행동이 환경(environment) 내에서 합리적으로 행동하는 방법을 암묵적으로 드러내기 때문입니다. 그러나 이종 집단에서 수집된 관찰 결과는 상충하는 행동 신호를 유입시켜 어떤 행동을 모방할 가치가 있는지 판단하기 어렵게 만듭니다. 우리는 서로 다른 목표를 추구하는 실증자(demonstrator)들의 이종 집단으로부터 보편적으로 유용한 행동을 추출하는 사회적 학습 방식인 GRID(General Reward Inference and Disentanglement)를 통해 이러한 과제를 해결합니다. GRID는 정보 병목(information bottleneck)을 활용하여 에이전트(agent)별 보상(reward) 함수를 모든 에이전트 간에 공유되는 행동을 포착하는 일반 보상과, 개별 선호 및 목표를 포착하는 특정 보상으로 분해합니다. 일반 보상만으로 학습(training)하는 방식은 제너럴리스트 사전학습의 새로운 패러다임을 제공합니다. 이는 기존의 실증 기반 학습(learning from demonstration) 기법들을 저해하는 모드 평균화 바이어스(mode-averaging bias) 없이, 안전성 및 기본 과업 숙련도와 같은 보편적인 환경 역량을 내재화한 제너럴리스트 에이전트를 산출합니다. 이 제너럴리스트는 학습 과정에서 보지 못한 선호를 포함한 다운스트림 과업으로의 미세조정(fine-tuning)을 위한 강력한 사전 분포(prior) 역할을 합니다. 합성 기저 함수 분해, 멀티 에이전트 Craftax, 연속 제어 과업(MuJoCo Gym) 및 자율주행 시뮬레이터(Highway-Env) 전반에 걸친 실험을 통해 GRID가 의미론적으로 유의미한 방식으로 보상 구조를 성공적으로 얽힘 해제(disentangle)하고, 표준 실증 기반 학습 베이스라인들을 능가하며, 더욱 효율적이고 안정적인 특화(specialization)를 가능하게 함을 확인했습니다.
에이전트(agent) 기반 교통 모델에서 사익을 추구하는 여행자의 행동 대리자로서 대규모 언어 모델(LLM)이 점점 더 널리 활용되고 있습니다. 기존 모델보다 더 유연하고 일반화 능력이 뛰어남에도 불구하고, 모든 여행자마다 LLM을 호출하는 비용으로 인한 확장성 문제 때문에 이러한 접근 방식의 실제 적용은 여전히 제한적입니다. 더욱이 LLM 에이전트는 불투명한 결정을 내리고 일별 동역학(day-to-day dynamics)을 불안정하게 만드는 경우가 많다는 점이 밝혀졌습니다. 이러한 문제를 해결하기 위해, 우리는 동일한 의사결정 맥락에 직면한 각 동질적 여행자 집단을 집단의 총 통행 흐름 비율과 일치하는 경로 혼합 전략을 유지하고 업데이트하는 단일 대표 LLM 에이전트로 모델링할 것을 제안합니다. 이 에이전트는 모집단의 평균처럼 행동합니다. 매일 LLM은 통행 경험을 검토하고 더 자주 이용하기를 희망하는 경로에 긍정적 강화 신호를 표시하며, 해석 가능한 업데이트 규칙은 조정 가능한(점진적으로 감소하는) 스텝 크기를 사용하여 이러한 판단을 전략 조정으로 변환합니다. 대표 에이전트 설계는 확장성을 향상시키는 한편, 추론과 업데이트의 분리는 학습을 안정화하면서 의사결정 논리를 명확하게 합니다. 전형적인 통행 배분 환경에서 제안된 접근 방식이 사용자 평형(user equilibrium)으로 빠르게 수렴함을 확인했습니다. 소득 이질성, 다기준 비용, 복합 교통수단 선택이 존재하는 더 풍부한 환경에서도 생성된 동역학은 안정적이고 해석 가능하게 유지되며, 심리학 및 경제학에서 잘 입증된 타당한 행동 패턴을 재현합니다. 예를 들어 유료 도로와 무료 도로 선택 시의 미끼 효과(decoy effect), 그리고 자가용, 대중교통, 환승 주차(park-and-ride) 옵션 중에서 선택할 때 고소득 여행자가 편의성에 대해 더 높은 지불 용의(willingness-to-pay)를 보이는 현상 등이 이에 해당합니다.
AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.
다수의 판매자가 존재하는 플랫폼에서 가격 책정 알고리즘은 수요를 학습할 때 경쟁자의 가격을 명시적으로 모델링해야 할까요? 고전적 논의에 따르면 경쟁자를 무시하는 것은 모델 오지정(model misspecification)과 비효율성을 초래하지만, 알고리즘 담합(algorithmic collusion)에 관한 최근 연구 결과들은 경쟁자 가격을 무시하는 것이 놀랍게도 담합 결과를 촉진하고 이윤을 개선할 수 있음을 시사합니다. 본 연구에서는 잡음이 섞인 미지의 수요가 존재하는 경쟁 시장에서 판매자들이 수요 모델(model)을 학습할 때 경쟁자 가격을 반영하거나(informed) 이를 무시하는(oblivious) 방식으로 가격을 반복해서 책정하는 문제를 다룹니다. 우리는 독점 기업과 비교할 때, 경쟁 시장의 무지한(oblivious) 판매자가 동적 경쟁자 정보의 손실(loss)을 보상하기 위해 더 공격적인 가격 탐험(exploration)을 수행해야 함을 보입니다. 모든 판매자가 무지한 경우, 지속적인 탐험 하에서는 가격이 경쟁적 결과로 수렴하지만 탐험이 "불충분"할 때는 연속적인 유사 균형(pseudo-equilibria) 집합이 나타납니다. 무지한 판매자와 정보를 반영하는 판매자가 혼재된 시장에서는 정보를 반영하는 판매자가 무지한 판매자보다 엄격하게 더 높은 수익을 올립니다. 게임 이론적 관점에서 유일한 내시 균형(Nash equilibrium)은 모든 판매자가 정보를 반영하는 시장이며, 이 경우 가격은 효율적으로 경쟁적 결과에 수렴하고 무지한 모델링이 견고하게 담합 패턴으로 이어지지는 않습니다.
물리적 세계에서 작동하는 로봇은 다른 로봇과 협력해야 할 필요성이 점점 더 커질 것이며, 특히 물체가 너무 크거나 무거워 단일 로봇이 혼자 운반할 수 없는 조작(manipulation) 작업에서 더욱 그러합니다. 하드웨어 성능 저하나 액추에이터 결함으로 인한 물리적 한계는 로봇이 안정적으로 수행할 수 있는 동작을 제한할 수 있지만, 이러한 한계는 파트너 로봇에게 알려지지 않을 수 있습니다. 본 연구에서는 보조 로봇(helper)이 다른 로봇과 협력하는 파트너 로봇을 관찰함으로써 해당 로봇의 물리적 제약 조건을 추론하고, 추론된 능력을 바탕으로 동일한 파트너와 새로운 작업에서 협력할 수 있는지를 탐구합니다. 이는 시연(demonstration) 데이터가 제약이 있는 로봇이 '무엇을 했는지'만 보여줄 뿐, '무엇을 할 수 있었는지'는 보여주지 않기 때문에 어렵습니다. 또한 물리적으로 결합된 작업에서는 다른 로봇이 이러한 한계를 보완해 줄 수 있어, 제약이 있는 로봇의 행동만으로는 한계를 식별하기 어렵습니다. 우리의 핵심 통찰은 이러한 제약 조건이 팀의 공동 행동(joint behavior)을 형성하므로, 두 로봇의 행동 모두가 제약이 있는 파트너의 능력에 대한 유용한 정보를 제공한다는 점입니다. 본 논문에서는 물리적으로 결합된 세 가지 조작 환경을 아우르는 벤치마크인 'Watch, Infer, Coordinate'와 함께, 관찰된 공동 행동을 활용해 후보 제약 조건에 점수를 매기는 추론 접근법을 소개합니다. 세 가지 환경 모두에서 우리의 방법은 제약 조건 추론 및 제로샷(zero-shot) 협력 성능을 크게 향상시키며, 실제 제약 조건에 접근할 수 있는 오라클(oracle) 수준에 근접합니다.
대규모 언어 모델(LLM) 에이전트 환경에서 동시 발생하는 행동은 각 제안이 개별적으로 유효하더라도 중재가 필요합니다. 본 연구에서는 타입화된 스냅샷 결제(snapshot-settlement) 계약을 구현하고 세 가지 고유한 특성인 순서 민감도, 유용한 진행도, 리플레이 일관성을 감사(audit)합니다. 28,800회의 완전 순열 실험과 2,160회의 스크립트 기반 다단계 에피소드에서 5가지 결제 정책을 테스트합니다. 결합 정책은 고정된 우선순위를 조건으로 할 때 공간적으로 순서 불변성을 보이지만, 보수적 거부 정책은 6개 에이전트 출입구 태스크에서 31.25%의 에이전트만 완료한 반면 무작위 티켓 정책은 90.28%를 완료하여 대응 개선 폭은 59.03%포인트(95% 부트스트랩 구간: 50.00-68.06)에 달했습니다. 모든 정책은 테스트된 공간적 제약을 보존하지만, 우선순위 중재는 여전히 독립적인 소규모 인스턴스 최적해를 놓칩니다. 별도의 전체 상태 저널 감사는 보존된 최종 앵커를 바탕으로 156개의 체크포인트를 정확히 리플레이하고 인위적으로 생성된 1,332개의 손상을 거부합니다. 본 연구의 실증적 증거는 인간적 사실성이나 장기적 공정성이 아닌 실행 의미론(execution semantics)에 관한 것입니다.