Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling
원문 초록
One of the preeminent obstacles to scaling multi-agent reinforcement learning to large numbers of agents is assigning credit to individual agents' actions. In this paper, we address this credit assignment problem with an approach that we call \textit{partial reward decoupling} (PRD), which attempts to decompose large cooperative multi-agent RL problems into decoupled subproblems involving subsets of agents, thereby simplifying credit assignment. We empirically demonstrate that decomposing the RL problem using PRD in an actor-critic algorithm results in lower variance policy gradient estimates, which improves data efficiency, learning stability, and asymptotic performance across a wide array of multi-agent RL tasks, compared to various other actor-critic approaches. Additionally, we relate our approach to counterfactual multi-agent policy gradient (COMA), a state-of-the-art MARL algorithm, and empirically show that our approach outperforms COMA by making better use of information in agents' reward streams, and by enabling recent advances in advantage estimation to be used.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
망각을 통한 공유 의미 형성: 비파트너십 조율 게임에서 망각이 개념적 정렬에 미치는 영향
Forgetting Our Way to Shared Meaning: Effects of Forgetting on Conceptual Alignment in a Non-Partnership Coordination Game
언어에서의 공유 의미는 사람들이 범주를 학습하고 합의할 것을 요구한다. 우리는 에이전트의 기억 특성이 공유 의미의 출현과 진화를 어떻게 변화시키는지 탐구한다. 조율 게임 없이는 개념적 의미론 모델이 집단 내에서 공유 의미가 어떻게 출현하고 변화하는지 설명할 수 없으나, 기존 게임들은 플레이어들이 파트너십 환경에서 보상을 공유한다고 가정한다. 우리는 개념적 정렬(conceptual alignment)을 비파트너십 게임으로 모델링하고, 적응성과 기억 저하 수준이 다양한 에이전트를 활용한 반사실적 시뮬레이션을 통해 실제 개념적 수렴과 인식된 개념적 수렴의 차이를 보여준다. 적응적 플레이어는 비적응적 플레이어보다 실제 수렴을 더 빠르게 달성하였고 최종 개념 영역이 더 가까웠으나, 비적응적 플레이어는 수렴을 더 일찍 인식하였다. 시간이 지남에 따라 새로운 정보에 더 낮은 가중치를 부여하는 것은 새로운 정보의 가중치를 고정하는 것보다 더 안정적인 합의를 이끌어냈다. 기억 특성은 실제 수렴과 인식된 수렴의 출현 및 진화에 핵심적인 역할을 한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
Minimal MMAO: 적응형 메타휴리스틱 탐색을 위한 자원 폐쇄 루프 프레임워크
Minimal MMAO: A Resource-Closed-Loop Framework for Adaptive Metaheuristic Search
공정 예산 연속 및 이산 벤치마크에서 MMAO의 대규모 실증 평가
A Large-Scale Empirical Evaluation of MMAO Under Fair-Budget Continuous and Discrete Benchmarks
본 논문은 프레임워크 자체를 다시 소개하는 대신, 더 엄격한 경험적 프로토콜 하에서 대사 다중 에이전트 최적화기(MMAO)를 평가한다. 연구는 MMAO의 폐루프 자원 할당 원리가 더 광범위하고 더 표준적이며 예산이 더 명시적으로 통제된 연속 및 이산 벤치마크에서도 신뢰성을 유지하는지를 묻는다. 완료된 주요 행렬은 각각 20개 시드를 갖는 10D와 30D의 CEC2017 함수 8개와 각각 20개 시드를 갖는 TSPLIB 인스턴스 5개를 다루며, PSO-lite, ES-lite, 반복 탐욕 2-opt 경로 기준선을 포함한 더 강력한 재현 가능 기준선과 함께 평가한다. 여기에 공동 예산, 성공률, 역할 진화, 개체군 교체에 대한 궤적 수준 진단을 추가하고, 이산 증거를 경로 문제 너머로 확장하기 위해 보조적인 OR-Library 다중 배낭 문제 일부도 더한다. 이 프로토콜 하에서 MMAO는 연속 영역과 TSPLIB 영역 모두에서 외부 기준선 집합을 뚜렷하게 능가하며, 제거 변형들은 외부 기준선보다 전체 방법에 훨씬 더 가깝게 유지된다. 결과는 시험한 영역 전반에서 내생적 자원 재분배를 뒷받침하지만, 더 정밀한 메커니즘 분리와 더 폭넓은 대회 수준 비교는 열린 과제로 남는다.
Einstein World Models
Einstein World Models
지능은 직접적인 경험을 넘어서는 현상에 대해 추론할 수 있는 능력을 필요로 하는가? 일부 복잡한 사고는 언어만으로는 포착할 수 없다고 의심하는 것은 자연스럽다. 그러나 본 연구가 특히 관심을 두는 것은, 반사실적(counterfactual) 사건을 시각화하는 것이 복잡한 사고의 메커니즘으로서 언어를 보완할 수 있는지 여부이다. 우리는 대규모 언어 모델(LLM)이 이러한 시각화 메커니즘을 활용하도록 학습될 수 있으며, 그 방식이 추론 능력 향상에 도움이 되는지 묻는다. 이 질문에서 영감을 받아, 우리는 Einstein World Models를 제안한다. EWM은 시각-시간적 롤아웃을 추론 trace 안에 배치하는 LLM 기반 추론 시스템의 청사진(blueprint)으로, 텍스트만으로는 잘 지원하지 못할 수 있는 방식으로 추론할 수 있게 한다. EWM에서 LLM은 검토 중인 장면에 대한 짧은 롤아웃을 생성하기 위해 world-module(월드 모델(world model)과 혼동하지 말 것)을 호출한다. 반환된 롤아웃은 답이 아니라, 이후 추론을 지원할 수 있는 검사 가능한 가설(hypothesis)로 취급된다. Einstein World Models는 LLM의 도구 호출(tool calling) 능력(예: 웹 검색 또는 코드 실행)을 시각적 사고 실험(thought experiment) 영역으로 확장한다.
내성적 결합: 고정된 지도 신호에도 불구하고 행동 변화를 추적하는 자기 설명 학습
Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision
언어 모델(LM)이 자신의 예측에 대한 설명을 생성하도록 학습시키면 언제 피상적 모방이 아닌 충실한 내성(introspection)이 나타나는가? 우리는 입력의 어떤 특징이 자신의 행동에 영향을 미쳤는지 설명하도록 학습된 LM을 연구하며, 수정된 입력에 대한 모델의 반사실적 행동을 지도 신호로 사용한다. 놀랍게도, 자신의 이전 체크포인트에서 도출된 고정된 반사실적 설명, 또는 심지어 다른 계열의 행동이 유사한 모델에서 도출된 설명으로 학습된 LM이 학습 대상의 행동보다 자신의 현재 행동에 더 충실한 설명을 자주 생성함을 발견했다. LM 설명과 행동 간의 이러한 "내성적" 결합은 행동 자체가 변하더라도 학습 설명이 학습 과정 내내 현재 행동과 충분히 상관되어 있을 때 나타난다. 또한 내성적 결합이 행동 변화를 따라간다는 점도 보인다. 설명 학습이 다른 사후 학습 목표와 동시에 제공되면, 갱신된 지도 없이도 설명이 그에 맞게 변한다. 이 현상은 아첨(sycophancy)과 거부를 포함한 여러 과제에서 나타나며 레이블 잡음에도 견고하다. 전반적으로 우리의 결과는 고정된 반사실적 설명 데이터셋조차도 내성을 위한 확장 가능하고 일반화 가능한 사후 학습 신호를 제공할 수 있음을 보여 준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.