arXiv:2609.18964v3 cs.LG

FedGuide: 이종 연합 강화학습을 위한 확산 사전확률 정렬 및 가치 기준선 유도

FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning

Zhilin He, Gauri Joshi

제출 2026-07-22

저자 비고

arXiv Comments

Accepted to the Conference on Robot Learning (CoRL), 2026. Spotlight presentation

한국어 초록

연합 강화학습(Federated Reinforcement Learning, FRL)은 이종의 환경을 가진 분산 에이전트 간의 협력적 정책 학습(policy learning)을 가능하게 합니다. 분산 감소, 다이버전스 페널티 부여, 모멘텀(momentum) 최적화에 기반한 최근 방법들이 이종 환경 설정에서 FRL을 개선하고 있지만, 여전히 주로 정책 또는 가치 네트워크 파라미터를 동기화하는 데 그치며 이종 클라이언트 간의 분포 불일치 문제를 명시적으로 해결하지 못합니다. 이에 따라 본 논문에서는 이종 로컬 정책 학습을 위해 개인화된 데이터 지지 분포(data supported distribution)를 제공하는 행동 모델로 확산 사전확률(diffusion prior)을 사용하는 FRL 프레임워크인 FedGuide를 제안합니다. FedGuide는 로컬 정책을 직접 평균화하는 대신, 최적 수송 전문가 혼합(Optimal-Transport Mixture-of-Experts, OT-MoE)을 통해 이러한 확산 사전확률들을 집계하여 분포 공간에서 이종 행동 모드를 보존합니다. 나아가 로컬 정책 개선을 위한 저분산 및 수익 인식 유도를 제공하고자 분포 교정 추정(Distribution Correction Estimation, DICE) 가치 기준선(value baseline)을 개발합니다. 이종 환경 전반에 걸친 실험 결과, FedGuide는 더 강한 이종성 하에서도 안정적인 학습을 유지하면서 클라이언트 평균 수익, 최종 라운드 성능, 최악 라운드 견고성 측면에서 대표적인 FRL 방법들을 능가함을 보여줍니다.

원문 초록

Federated Reinforcement Learning (FRL) enables collaborative policy learning across distributed agents with heterogeneous environments. While recent methods based on variance reduction, divergence penalization, and momentum optimization improve FRL under heterogeneous settings, they still primarily synchronize policy or value-network parameters and do not explicitly address distributional mismatch among heterogeneous clients. Therefore, we propose \textbf{FedGuide}, a FRL framework that uses diffusion priors as behavior models to provide personalized data supported distributions for heterogeneous local policy learning. Instead of directly averaging local policies, FedGuide aggregates those diffusion priors through Optimal-Transport Mixture-of-Experts (OT-MoE), preserving heterogeneous behavior modes in distribution space. It further develops a Distribution Correction Estimation (DICE) value baseline to provide low-variance, return-aware guidance for local policy improvement. Experiments across heterogeneous environments show that FedGuide outperforms representative FRL methods in client-average returns, final-round performance, and worst-round robustness, while maintaining stable learning under stronger heterogeneity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.18964v3
  2. arXiv:2609.18964v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02359v1cs.LG공통 태그 Mixture-of-Experts, Reinforcement Learning

사전식 다중 목적 온-정책 증류

Lexicographic Multi-Objective On-Policy Distillation

검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.

arXiv:2609.39223v2cs.LG공통 태그 Mixture-of-Experts, Reinforcement Learning

QATFactory: LLM의 양자화 인식 학습 및 증류를 위한 다목적 배포 정렬 프레임워크

QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs

대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.

arXiv:2609.27284v1cs.AI공통 태그 Mixture-of-Experts, Reinforcement Learning

Hunyuan-A13B 기술 보고서

Hunyuan-A13B Technical Report

Hunyuan-A13B를 소개한다. 이는 전문가 혼합(MoE) 아키텍처 기반의 오픈소스 대규모 언어 모델(LLM)이다. 총 800억 개의 파라미터를 포함하지만 추론 시에는 130억 개만 활성화하여 모델 성능, 계산 효율, 배포 비용의 균형을 맞춘다. 이 모델은 엄격하게 필터링된 20T 토큰 코퍼스에 사전학습(pre-training)되었으며, STEM 데이터 큐레이션을 강화하여 사실적 신뢰성과 추론 능력을 개선했다. 고품질 지도 미세조정과 대규모 강화학습이 전반적인 성능을 더욱 향상시킨다. Hunyuan-A13B는 또한 작업 복잡도에 따라 추론 깊이를 조절하는 이중 모드 사고의 연쇄(Chain-of-Thought) 프레임워크를 도입한다: 일반적인 질의에는 빠른 사고(fast thinking), 복잡한 다단계 문제에는 느린 사고(slow thinking)를 사용한다. 평가 결과 수학, 과학, 프로그래밍, 일반 언어 이해, 에이전트 작업 전반에서 경쟁력 있는 성능을 보이며, 종종 훨씬 더 큰 모델에 근접한 수준이다. 높은 추론 처리량으로 지연 시간에 민감한 응용에 적합하다. 오픈 연구와 실용적인 LLM 배포를 지원하기 위해 Hunyuan-A13B를 공개한다.

arXiv:2609.23989v1cs.AI공통 태그 Mixture-of-Experts, Reinforcement Learning

ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습

ACLArena: Agent Continue Learning in Multi-stage Post-training

산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.

arXiv:2609.24526v1cs.CV공통 태그 Mixture-of-Experts, Reinforcement Learning

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

arXiv:2607.24653v2cs.CL공통 태그 Mixture-of-Experts, Reinforcement Learning

Kimi K3: 오픈 프론티어 인텔리전스

Kimi K3: Open Frontier Intelligence

Kimi K3를 소개한다. Kimi K3는 2.8T 매개변수 전문가 혼합(MoE) 모델로, 1040억 개의 활성화 매개변수, 네이티브 비전 기능, 100만 토큰 컨텍스트 윈도우를 갖춘다. Kimi K3는 Kimi Delta Attention과 Attention Residuals 위에 구축되었으며, 이는 시퀀스 길이와 모델 깊이에 걸친 정보 흐름을 개선한다. Stable LatentMoE—토큰당 896개의 라우팅된 전문가 중 16개를 효과적으로 활성화—와 정제된 학습 및 데이터 레시피와 함께, 이러한 발전은 Kimi K2 대비 전체 스케일링 효율을 약 2.5배 개선한다. 사후 학습에서는 일반, 에이전트(agentic), 코딩 영역과 다양한 추론 노력 수준에 걸친 강화학습을 강조하며, 이를 통해 조합적 일반화와 견고한 장기 실행을 가능하게 한다. 2.8T 규모에서 Kimi K3는 여러 영역의 인프라 발전을 통해 뒷받침된다: KDA를 위한 알고리즘-시스템 공동 설계, 효율적인 메모리 관리를 갖춘 완벽하게 균형 잡힌 전문가 병렬 학습, 지속적인 롤아웃과 샌드박스 상태를 갖춘 100만 토큰 에이전트 강화학습(RL), 그리고 배포 혁신. 광범위한 평가에서 Kimi K3는 장기 코딩, 에이전트, 지식, 추론, 비전 과제 전반에서 프론티어 수준의 성능을 달성함을 보여준다. 전체 성능은 여전히 Claude Fable 5와 GPT-5.6 Sol 등 가장 강력한 독점 모델에 미치지 못하지만, Kimi K3는 우리 평가 스위트에서 평가한 다른 오픈 및 독점 모델을 일관되게 능가한다. 향후 연구를 촉진하고 프론티어 인텔리전스의 더 넓은 배포와 채택을 가속하기 위해 Kimi K3 모델의 전체 가중치를 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.