arXiv:2301.11442

Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits

Nikolai Karpov, Qin Zhang

제출 2023-01-26

원문 초록

In this paper, we study the collaborative learning model, which concerns the tradeoff between parallelism and communication overhead in multi-agent multi-armed bandits. For regret minimization in multi-armed bandits, we present the first set of tradeoffs between the number of rounds of communication among the agents and the regret of the collaborative learning process.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Multi-agent Reinforcement Learning

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2609.39076v2cs.AI공통 태그 Multi-Armed Bandits, Multi-agent Reinforcement Learning

스택켈버그 게임을 통한 다중 대규모 언어 모델(Multi-LLM) 협력적 정렬

Multi-LLM Collaborative Alignment via Stackelberg Games

언어 모델 풀은 서로의 응답으로부터 학습함으로써 협력하고 집단적으로 향상될 수 있습니다. 이러한 상호작용은 학습(training) 중에 사용되는 인스트럭션에 따라 달라집니다. 기존 방법들은 대개 인스트럭션을 균일하게 샘플링하지만, 모델(model)이 발전함에 따라 그 유용성은 변화할 수 있습니다. 즉, 한때 모델들의 응답 품질이 달랐던 인스트럭션이 나중에는 모두 동일하게 잘 답변될 수 있는 반면, 이전에는 어려웠던 인스트럭션이 유용한 학습 신호를 제공하기 시작할 수도 있습니다. 본 논문에서는 인스트럭션 선택을 적응형 커리큘럼으로 전환하는 게임 이론 기반의 리더-팔로워 프레임워크인 스택켈버그 정렬(Stackelberg Alignment)을 제안합니다. EXP3 밴딧이 리더 역할을 수행하여 인스트럭션 전반에 고정된 샘플링 예산을 할당하고, 인스트럭션 난이도와 응답 변별력을 결합한 보상(reward)을 사용하여 샘플링 분포를 업데이트합니다. 언어 모델들은 팔로워 역할을 하여 선택된 인스트럭션에 응답하고, 서로의 응답을 평가하며, 그 결과로 도출된 선호도 신호로부터 DPO 또는 GRPO를 통해 학습합니다. 이 프레임워크는 신뢰할 수 있고 경쟁적인 모델 상호작용을 지원하기 위해 Elo 스타일의 평판 가중치 피어 평가와 평판 기반 상대 매칭을 사용합니다. 과학적 발견, 추론(inference), 코드, 인스트럭션 준수, 지식을 아우르는 12개 벤치마크와 3개의 이종 모델 풀에 걸친 실험 결과, Stackelberg Alignment는 세 가지 다양한 모델 풀 전반에서 가장 높은 매크로 평균을 달성하여 가장 강력한 학습 시간 기준선(baseline)을 최대 7.4%, 최고의 정적 추론 기준선을 12~25% 능가함을 보여줍니다. 분석을 통해 적응형 리더가 가장 유익한 인스트럭션에 대결을 집중시킴을 확인하였으며, 소거 연구를 통해 평판 가중 평가와 평판 기반 매칭 모두 다중 LLM 진화의 효과를 향상시킨다는 점을 보여줍니다.

arXiv:2607.19913v1cs.AI공통 태그 reinforcement-learning, Multi-agent Reinforcement Learning

JANUS: 장기 지평 에이전트 안전을 위한 잠재적 위험 예견

JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety

에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.