PyTorchKR Papers

최신 논문

총 1,869편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.12920v3cs.MA

대화를 통한 월드 모델 정렬 기반 체화 멀티 에이전트 협력

Embodied Multi-Agent Coordination by Aligning World Models Through Dialogue

체화된 에이전트 간의 효과적인 협력은 공유된 환경에서 행동하는 것 이상을 요구하며, 각 에이전트의 끊임없이 변화하는 세계 이해에 근거한 소통이 필수적이다. 에이전트가 주변 환경을 부분적으로만 관찰할 수 있을 때 소통 없는 협력은 증명 가능하게 어렵지만, 소통은 원칙적으로 에이전트들이 관찰을 공유하고 월드 모델을 정렬할 수 있게 함으로써 이 간극을 메울 수 있다. 본 연구에서 우리는 LLM 기반 체화 에이전트가 실제로 소통 능력을 실현하는지 살펴본다. 우리는 협력적 가정용 로보틱스 벤치마크인 PARTNR를 자연어 대화 채널로 확장하여, 부분 관찰 가능성을 가진 두 에이전트가 작업 실행 중 소통할 수 있도록 한다. 대화가 피상적 협력이 아닌 진정한 월드 모델 정렬로 이어지는지 평가하기 위해, 우리는 에이전트별 월드 그래프에 기반하여 월드 모델 정렬을 측정하는 프레임워크를 제안한다: 관찰 수렴(개인 월드 모델이 시간이 지남에 따라 정렬되는가?), 정보 신규성(메시지가 파트너에게 부족한 내용을 전달하는가?), 신념 민감적 메시징(에이전트가 파트너의 지식 상태를 모델링하는가?). 세 가지 LLM에 걸친 실험에서 대화가 행동 충돌을 40에서 83 퍼센트포인트 감소시키지만 침묵 협력 대비 작업 성공률을 저하시킨다는 것이 드러났다. 우리의 지표를 활용하여 피상적 협력과 진정한 월드 모델 정렬 간의 간극을 규명하고, 현재 모델들이 이 스펙트럼의 어느 지점에 위치하는지 파악한다. 프로젝트 웹사이트: https://uiuc-conversational-ai-lab.github.io/partnr-dial-wmd/

arXiv:2607.09422v1cs.LG

확장 가능한 양자 소자 튜닝을 위한 행동 분해 기반 다중 에이전트 강화학습

Action-Factored Multi-Agent Reinforcement Learning for Scalable Quantum Device Tuning

협력적 다중 에이전트 강화학습(multi-agent reinforcement learning)은 대규모 매개변수 공간과 활용 가능한 지역 구조를 가진 문제, 예컨대 정전기적으로 정의된 양자점 배열(quantum-dot array)의 튜닝에 적합하다. 그러나 매개변수 간 크로스토크(cross-talk)가 강한 경우, 개별 에이전트 관점에서 비정상(non-stationary) 환경이 형성되어 학습이 불안정해질 수 있으며, 이는 이러한 시스템의 수동 튜닝 시 발생하는 문제와 동일한 현상이다. 본 연구는 에이전트 간 간섭을 최소화하고 에이전트를 분리하기 위해, 온라인으로 학습되는 행동 공간의 분해 표현(factored representation)을 활용할 것을 제안한다. 우리의 프레임워크인 QADAPT는 이 분해 방식을 활용하여 지역 측정값과 보상에 기반한 공유 정책(shared policy)을 효율적으로 학습한다. 이 모듈식 전략을 통해 미지의 양자 소자 크기에 대한 제로샷(zero-shot) 일반화를 달성하고, 목표 레짐(target regime)에 도달하기까지의 수렴 스텝 수를 대략 일정하게 유지한다. 본 연구는 대규모 양자 프로세서의 신속한 교정(calibration)을 위한 확장 가능한 경로를 제시한다.

arXiv:2607.08681v1cs.AI

SolarChain-Eval: 분산 에너지 시장에서 신뢰할 수 있는 경제 에이전트를 위한 물리 제약 벤치마크

SolarChain-Eval: A Physics-Constrained Benchmark for Trustworthy Economic Agents in Decentralized Energy Markets

분산 에너지 시장에서 강화학습(RL) 에이전트가 물리적 제약을 위반하거나 인위적 유동성을 생성하는 신뢰성 문제를 해결하기 위해, SolarChain-Eval이라는 물리 제약 기반 벤치마크를 제안하며 시장 효용, 물리적 안전성, 공정성, 감사 가능성 등 다차원 평가를 Gymnasium 호환 마르코프 결정 과정(MDP)으로 정식화한다. LLM 기반 Planner/Auditor 레이어를 통합한 실험 결과, RL 에이전트는 시장 효용을 개선하지만 물리 페널티 제거 시 유효하지 않은 발전량을 악용하며, LLM 감사자는 감사 가능성을 높이지만 잘못 설계된 보상 함수를 완전히 보완하지는 못함을 보였다.

arXiv:2606.14130v2cs.LG

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

다중 에이전트 강화학습에서 어떤 에이전트도 단독으로 전역 안전성을 보장할 수 없을 때 안전한 조율 문제가 발생한다. 즉, 한 에이전트의 행동 허용 여부가 다른 에이전트들의 동역학에 따라 달라질 수 있다. 분산형 실드(shield)는 런타임에 안전성을 강제할 수 있지만, 순수하게 인수분해된 권한은 조율을 통해서만 안전한 최적 팀 행동을 종종 배제한다. 본 연구에서는 분산 실행 환경에서 학습되고 배포되는 에이전트에 대한 결정론적 안전성 보장을 탐구하며, 중앙 집중식 런타임 제어 없이 팀 최적 안전 행동을 복원한다. 에이전트들은 선형 시제 논리(Linear Temporal Logic)의 안전성 부분($\mathsf{LTL}_{\mathsf{safe}}$)에서 공유 전역 명세 $\varphi$를 가지며, 그 결합이 전역 명세 $\varphi$를 함의하는 지역 $\mathsf{LTL}_{\mathsf{safe}}$ 의무들의 튜플 중에서 선택한다. 전체 계약 튜플이 동시에 인증되고 지역 행동 마스크로 투영될 수 있으므로, 각 에이전트는 다른 에이전트들의 지역 의무를 가정으로 활용할 수 있다. 학습 시에는 비정상(non-stationary) 다중 팔 밴딧(multi-armed bandit)이 지역 $\mathsf{LTL}_{\mathsf{safe}}$ 의무 라이브러리 중에서 종단 간 안전성을 포기하지 않으면서 팀 보상을 최적화하는 튜플을 선택한다. 본 접근법을 6개의 환경과 15개의 알고리즘 변형에 걸쳐 평가한다.

arXiv:2607.09600v1cs.AI

Agora: 경매 기반 태스크 할당을 통한 LLM 에이전트 추론 향상

Agora: Enhancing LLM Agent Reasoning Via Auction-Based Task Allocation

대규모 언어 모델(LLM) 에이전트의 추론 능력을 향상시키려면 다양한 전문가 모델과 도구를 효과적으로 조율해야 한다. 그러나 기존 프레임워크는 대체로 태스크와 전문가 모델 또는 도구의 기능 간 거친 수준의 매칭을 기반으로 API를 호출하며, 기능적으로 유사한 대안들 사이의 성능 변동성과 비용 효율성 같은 중요한 요소를 간과한다. 이를 해결하기 위해 우리는 Agora를 제안한다. Agora는 전문가 모델과 도구에 태스크를 동적으로 할당하기 위한 인센티브 호환 경매 메커니즘을 도입한 프레임워크다. 추론 단계를 거래 가능한 항목으로 취급함으로써, Agora는 에이전트가 교정된 역량을 기반으로 입찰할 수 있게 하여—가장 과신하는 해결자가 아닌 가장 유능한 해결자에게 핵심 논리가 라우팅되도록 보장한다. 다섯 가지 벤치마크에 걸친 평가 결과, Agora는 유사한 후보 풀 조건에서 단일 모델 매칭, 라우팅, 캐스케이드 기준선 대비 성능이 향상되었으며, 단일 경매 매개변수를 통해 제어 가능한 비용-품질 트레이드오프를 제공한다.

arXiv:2607.09330v1cs.AI

컴퓨팅 파워 네트워크 상의 이기종 LLM 체화 에이전트를 위한 통신 효율적 디지털 트윈 조율

Communication-Efficient Digital-Twin Coordination for Heterogeneous LLM Embodied Agents over Computing Power Networks

이기종 대규모 언어 모델(LLM)로 구동되는 체화 에이전트 팀이 스마트 공장, 물류 창고, 서비스 로봇 등 물리적 인공지능 분야에 광범위하게 배포되고 있다. 이러한 에이전트 팀 간의 협업을 가능하게 하기 위해서는 제한된 네트워크 자원 하에서 안정적으로 동작하는 효율적인 조율 메커니즘이 필요하다. 그러나 다중 라운드 자연어 기반 대화에 의존하는 기존의 이기종 LLM 에이전트 조율 프레임워크는 세 가지 상호 연결된 과제를 야기한다. 첫째, 에이전트 간 대화는 팀 규모에 따라 빠르게 증가하는 통신 오버헤드를 발생시킨다. 둘째, 조율 품질이 에이전트 팀 LLM들의 이기종 능력에 의해 제약된다. 셋째, 에이전트들은 반복적인 협상으로 인해 행동 지연을 겪을 수 있다. 이러한 과제들을 해결하기 위해, 우리는 경량 디지털 트윈(DT)을 기반으로 구축된 네트워크 조율 프레임워크인 LDT-Coord를 제안한다. 구체적으로, 각 에이전트는 독립적으로 의도된 행동을 선택하고, 행동 결정과 공유 자원에 대한 구조화된 시간적 제약 조건을 DT 서버에 보고함으로써 조율 성능을 자연어 추론 능력으로부터 분리한다. 이후 DT는 학습 불필요한 규칙 기반 오케스트레이터 알고리즘을 실행하여 에이전트 간 충돌을 해소하고 충돌 방지를 위한 조율 지시를 반환한다. 통신 오버헤드를 추가로 줄이기 위해, 에이전트 보고 제어를 제약된 부분 관측 마르코프 결정 과정(C-POMDP)으로 공식화하고 PPO-Lagrangian 알고리즘으로 풀이한다. 시뮬레이션 결과, LDT-Coord는 통신 오버헤드를 70배 이상 절감하고 LLM 이기종성 하에서도 강건성을 유지하면서 기존 조율 방법에 비견되는 태스크 성공률을 달성함을 보인다.

arXiv:2605.17393v2cs.AI

다중 에이전트 강화학습을 위한 이종 정보 병목 조정 그래프

Heterogeneous Information-Bottleneck Coordination Graphs for Multi-Agent Reinforcement Learning

조정 그래프(coordination graph)는 협력적 다중 에이전트 강화학습(MARL)의 핵심 추상화 개념이지만, 기존의 희소 그래프 학습기들은 어떤 엣지가 존재해야 하며 각 엣지가 얼마나 많은 정보를 전달해야 하는지를 결정하는 이론적으로 정당화된 메커니즘이 부재하다. 현재 방법들은 학습된 토폴로지에 대한 공식적 보장이 없는 휴리스틱 기준에 의존하며, 구조적으로 상이한 에이전트 관계에 서로 다른 통신 용량을 할당하는 원칙적 방법도 존재하지 않는다. 이를 해결하기 위해, 우리는 이종 정보 병목 조정 그래프(HIBCG, Heterogeneous Information-Bottleneck Coordination Graphs)를 제안한다. HIBCG는 엣지의 존재 여부와 메시지 용량이 모두 이론적으로 정당화된 그룹 인식 희소 그래프를 학습한다. 그래프 정보 병목(GIB)을 기반 도구로 활용하여, HIBCG는 먼저 엣지 유지에 대한 폐쇄형 기준—어떤 엣지가 존재해야 하며 그룹 블록별 밀도는 어느 정도여야 하는지—을 제공하는 그룹 정렬 블록 대각 사전분포(group-aligned block-diagonal prior)를 구성하고, 이어서 결과 토폴로지 상의 에이전트별 특징 대역폭을 제어하여 태스크 관련 내용만 보존하도록 메시지를 압축한다. 우리는 그룹 정렬 사전분포가 토폴로지 학습에 대한 변분 경계(variational bound)를 엄격히 조여줌을 증명하고, 목적 함수가 그룹 블록별로 분해되어 차등적 엣지 제어를 가능하게 하며, 용량 할당이 워터 필링 원리(water-filling principle)를 따름을 증명한다.

arXiv:2607.06935v1math.OC

강화학습의 수학적 방법론

Mathematical methods of reinforcement learning

강화학습(RL)은 확률론, 최적화, 작용소 이론의 도구들에 점점 더 깊이 기반을 두고 있다. 이 서베이는 현대 강화학습 알고리즘의 설계와 분석을 뒷받침하는 수학적 구조를 체계적으로 정리한다. 마르코프 결정 과정(MDP)과 벨만 작용소(Bellman operator)에서 출발하여, 수렴 보장과 수렴 속도를 이끌어 내는 수축 사상(contraction mapping), 단조성(monotonicity), 고정점 이론을 가치 반복(value iteration), 정책 반복(policy iteration), 시간차(temporal-difference) 방식에 걸쳐 강조한다. 이어서 최적화 관점을 전개하는데, 확률적 근사(stochastic approximation)와 마팅게일(martingale) 방법, 볼록 쌍대성(convex duality), 그리고 미러/근위(mirror/proximal) 방법과 정규화의 연결 관계를 다룬다. 함수 근사(function approximation)는 선형 및 비선형 설정 모두를 다루며, 안정화(stabilization), 오차 분해(error decomposition), 그리고 종속 데이터 및 혼합 과정에 대한 집중 부등식(concentration inequality)을 통한 샘플 복잡도(sample complexity)를 포함한다. 나아가 오프-정책 평가/학습, 제약 강화학습과 제약 MDP(CMDP)를 다룬다. 전반에 걸쳐 공통된 작용소 및 변분적 관점 하에 알고리즘 템플릿을 통합하고, 유한 샘플 경계와 점근적 결과를 함께 조명한다. 이 논문은 강화학습에 관심 있는 확률론, 최적화, 통계학 연구자들에게 통합된 수학적 진입점을 제공하고자 한다.

arXiv:2607.08193v1cs.LG

멀티모달 LLM을 활용한 정책 시각적 검사 기반 개방형 멀티에이전트 자동 커리큘럼

Open-ended Multi-agent Autocurricula via Visual Inspection of Policies with Multi-modal LLMs

강화학습의 개방형 커리큘럼 설계에서 에이전트의 학습 진행 상황을 평가하기 위해 스칼라 점수나 텍스트 요약 대신, 에피소드 영상을 비디오 언어 모델(VLM)에 직접 입력하는 정책 시각적 검사(VIP, Visual Inspection of Policies) 방법을 제안한다. StarCraft Multi-Agent Challenge(SMAC) 실험에서 경량 오픈소스 VLM인 VideoLLaMa2-7B를 활용한 VIP가 텍스트 기반 어블레이션 및 스칼라 점수 기반 커리큘럼 방법들보다 더 효과적인 다중 에이전트 커리큘럼을 생성함을 실증적으로 보인다.

arXiv:2607.08137v1cs.CR

트윈 인식 연합 강화학습을 통한 자율주행 시스템 보안

Securing Autonomous Vehicle Systems via Twin-Aware Federated Reinforcement Learning

자율주행 시스템에 대한 연합 강화학습(FRL)의 포이즈닝 공격 취약점을 해결하기 위해, SecApp은 디지털 트윈 기반 리허설 학습과 이력 집계 파라미터를 활용해 악의적 에이전트의 그래디언트를 필터링하는 방어 프레임워크를 제안한다. 13가지 포이즈닝 공격에 대한 실험과 수렴 이론 분석을 통해 기존 방어 전략 대비 우수한 성능을 입증하였다.

arXiv:2607.08012v1cs.LG

Provably Optimal Learning Algorithms for Assistance Games

인간 에이전트(정보 보유)와 AI 어시스턴트(정보 미보유)가 반복 상호작용하는 온라인 지원 게임(assistance game) 프레임워크에서, 공동 정책 최적화를 부분모듈 최대화(submodular maximization) 문제로 환원하는 새로운 기법을 통해 $(1-1/e)$-근사 후회율 $\widetilde{O}(T^{3/4})$를 달성하는 최초의 증명 가능한 효율적 분산형 학습 알고리즘을 제시하며, 공유 랜덤 문자열을 활용한 유사 분산형 설정에서는 로그 인수까지 최적인 $\widetilde{O}(T^{1/2})$를 달성한다. 또한 $(1-1/e)$보다 더 나은 근사 인수는 $\mathsf{RP}=\mathsf{NP}$가 아닌 한 계산적으로 불가능함을 증명하여 해당 근사 인수의 최적성을 확립한다.

arXiv:2607.06157v1cs.CL

숙의적 협력을 위한 LLM 에이전트: 부분 관측 가능성 하의 공동 의사결정에 관한 연구

LLM Agents for Deliberative Collaboration: A Study on Joint Decision Making Under Partial Observability

부분 관측 가능한 환경에서 LLM 에이전트들이 숙의(deliberation)를 통해 공동 의사결정을 수행하는 능력을 평가하기 위해, 메뉴 설계 및 작업 배분 등 여러 도메인에 걸친 확장 가능한 벤치마크를 제안한다. 최신 LLM을 대상으로 한 체계적인 실험 결과, 복잡한 숙의적 협력 과제는 여전히 최첨단 모델에게 도전적이나, 숙의 과정이 오류 수정 기회를 제공해 중앙집중식 기준선(centralized baseline) 대비 성능을 향상시키기도 함을 밝혔다.

arXiv:2607.05132v2cs.CY

에이전트가 거짓말할 때: 반복 게임에서의 사전 계획, 지속성, 그리고 활용

When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games

LLM 에이전트가 반복 게임에서 공개 선언을 어기는 행동을 3단계 프로토콜(사적 계획 → 공개 선언 → 최종 행동)로 분석한 결과, 약속 위반의 90% 이상이 이미 사적 계획 단계에서 의도된 사전 계획적 기만임이 밝혀졌다. 또한 서로 다른 모델은 공개 선언을 구속력 있는 약속 또는 값싼 말로 상이하게 해석하며, 이종 모델 혼합 시스템에서는 0라운드부터 시작되어 10라운드 내내 지속되는 보상 격차가 발생해 배포 전 실증적 상호작용 검증이 필수적임을 시사한다.

arXiv:2607.06115v1cs.IT

6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

6G 통합 감지 및 통신(ISAC) 시스템에서 공격자가 빔포밍 방향을 조작해 간섭을 유발하는 시나리오를 대상으로, 베이즈 추론과 Nash/Stackelberg 게임 이론을 결합한 Q-러닝 기반 강화학습(RL) 프레임워크를 제안한다. 독일 도르트문트 도심의 3GPP 기반 레이트레이싱 도시 환경 시뮬레이션 결과, 제안 방법이 공격자 탐지 및 빔포밍 보안 문제를 효과적으로 해결함을 보였다.

arXiv:2607.05683v1cs.LG

자율 주문 피커의 동적 배터리 관리를 위한 심층 강화학습

Deep Reinforcement Learning for Dynamic Battery Management of Autonomous Order Pickers

창고 내 다수의 자율 이동 로봇(AMR)이 확률적 주문 도착 환경에서 최적 충전 결정을 내리도록, 충전 스테이션 선택과 충전 시간을 동시에 학습하는 근위 정책 최적화(PPO) 기반 심층 강화학습(DRL) 프레임워크를 제안한다. 제안 모델은 충전 스테이션 대기 시간을 명시적으로 고려하여, 기존 최강 기준선 대비 주문 완료율을 최대 6% 향상시키고 충전에 소요되는 총 시간을 크게 단축하는 성능을 보였다.

arXiv:2607.05553v1cs.LG

스마트 그리드의 분산 안정성 제어를 위한 연합 물리 기반 강화학습

Federated Physics-Grounded Reinforcement Learning for Distributed Stability Control in Smart Grids

스마트 그리드의 과도 안정성 제어를 협력적 다중 에이전트 강화학습(MARL) 문제로 재정식화한 FedPPO-PG 프레임워크를 제안하며, 각 발전기 에이전트가 고장 후 Kron 축소 서셉턴스 행렬로 식별한 물리 기반 이웃의 주파수 편차를 관측 공간에 포함해 분산 실행 시에도 전력망의 전기역학적 결합 구조를 활용한다. IEEE 39-bus 벤치마크에서 24회 전 시험 100% 안정화를 달성하고, 중앙화 기준선 대비 평균 안정화 시간을 72.4% 단축하며 제어 전력을 7~14배 절감하는 동시에 실시간 추론 지연 요건(IEEE/IEC 60255-118-1-2018)을 충족했다.

arXiv:2601.20753v4cs.LG

GraphAllocBench: 선호도 조건부 다목적 정책 학습을 위한 유연한 벤치마크

GraphAllocBench: A Flexible Benchmark for Preference-Conditioned Multi-Objective Policy Learning

도시 자원 배분을 그래프 기반 순차적 의사결정으로 모델링한 CityPlannerEnv 위에 구축된 GraphAllocBench는 사용자 정의 가능한 목적 함수, 다양한 선호도 조건, 복잡한 파레토 프론트(Pareto Front)를 갖춘 다목적 강화학습(MORL)용 벤치마크로, 기존 PCPL 벤치마크의 단순 태스크·고정 환경 한계를 극복한다. 하이퍼볼륨 지표를 보완하는 비지배 해 비율(PNDS)과 순서 점수(OS)를 새로 제안하고, 그래프 신경망(GNN) 기반 PCPL-PPO 실험을 통해 고차원 할당 문제에서 기존 지표로는 드러나지 않는 실패 모드를 규명했다.

arXiv:2607.05352v2cs.CV

표현 오토인코더를 활용한 멀티플레이어 인터랙티브 월드 모델

Multiplayer Interactive World Models with Representation Autoencoders

우리는 복잡한 물리적 상호작용이 지배하는 고도로 동적인 환경을 위한 최초의 멀티플레이어 월드 모델을 소개한다. 단일 플레이어 월드 모델이 다른 에이전트를 환경의 일부로 취급하는 것과 달리, 우리의 모델은 여러 에이전트의 행동 스트림을 조건으로 받아, 장면의 변화를 올바른 플레이어에게 귀속시키고 행동들의 임의적인 조합 하에서도 일관성을 유지하도록 학습한다. 우리는 이 문제를 빠르고 긴밀하게 결합된 역학 아래 플레이어들이 경쟁하고 협력하는 Rocket League 게임에서 연구한다. 공개적으로 이용 가능한 봇으로 수집한 10,000시간 분량의 게임플레이 데이터로 학습된 우리의 50억 매개변수 잠재 확산 모델은 단일 Nvidia B200 GPU에서 초당 20프레임으로 4인 매치를 실시간 생성한다. 짧은 클립으로만 학습되었음에도 불구하고, 모델의 롤아웃은 학습 호라이즌을 훨씬 넘어서도 안정적으로 유지된다: 분포적 품질은 우리가 측정하는 최장 호라이즌인 5분까지 꾸준히 유지되며, 실제로 붕괴 없이 몇 시간 동안 지속되는 롤아웃을 관찰했다. 우리는 비디오 코덱, 생성 목적 함수, 멀티플레이어 조건화 방식이라는 핵심 설계 선택들을 체계적으로 조사한다. 또한, 모델 및 데이터 규모에 따른 행동 변화를 특성화하며, 여기에는 창발하는 능력과 지속되는 실패 사례가 포함된다. 나아가 시각적 외관만이 아닌 모델의 물리적 이해를 탐구하는 목표 지향적 평가를 개발한다. 멀티플레이어 월드 모델에 대한 지속적인 연구를 지원하기 위해, 우리는 데이터셋, 전체 학습 및 추론 코드베이스, 그리고 라이브 데모를 공개한다.

arXiv:2607.06514v1cs.AI

FootsiesGym: 2인 제로섬 불완전 정보 게임을 위한 격투 게임 벤치마크

FootsiesGym: A Fighting Game Benchmark for Two-Player Zero-Sum Imperfect-Information Games

FootsiesGym은 2인 제로섬 불완전 정보 게임 환경에서 강화학습(RL) 연구를 위한 오픈소스 벤치마크로, 미니멀리스트 2D 격투 게임 Footsies를 기반으로 순환적·비추이적 전략 상호작용을 분리해 효율적인 분석이 가능하도록 설계되었다. 벡터화된 시뮬레이터를 통해 표준 하드웨어에서 초당 약 52,500 스텝의 고처리량 학습을 지원하며, PPO, EMAgnet, PFSP 등 여러 RL 알고리즘의 근사 악용 가능성(exploitability) 분석 결과를 벤치마크로 제시한다.

arXiv:2607.06489v1cs.AI

낙농장에서의 다목적 배터리 관리를 위한 다중 에이전트 심층 강화학습

Multi-Agent Deep Reinforcement Learning for Multi Objective Battery Management in Dairy Farms

아일랜드 낙농 산업은 재생에너지 통합 및 탄소 배출 감소 측면에서 큰 잠재력을 지니고 있다. 그러나 분산 발전 제어 연구는 주로 주거 및 상업 분야에 집중되어 있다. 낙농 분야에서의 효과적인 재생에너지 통합에 기여하기 위해, 본 논문은 차등 진화(differential evolution)와 다중 에이전트 심층 강화학습에 기반한 다목적 최적화 제어 시스템을 제안한다. 제안된 제어 시스템은 두 개의 층으로 구성된다: 상위 층은 동적 가격 책정을 활용하고, 하위 층은 배터리 관리를 위한 다중 에이전트 강화학습에 기반한다. 또한 본 논문은 농촌 배전 회로에서 제안된 제어 시스템의 전기적 응답을 시뮬레이션한다. 시뮬레이션 결과, 제안된 제어 프레임워크는 규칙 기반 모델 대비 에너지 차익거래(energy arbitrage) 수익을 최대 18%까지 향상시키고, 비용을 크게 증가시키지 않으면서 분산 발전 활용도를 높이며, 전압 변동 측면에서 아일랜드 전력망 규정을 준수함을 보인다.