Generalisable Agents for Neural Network Optimisation
원문 초록
Optimising deep neural networks is a challenging task due to complex training dynamics, high computational requirements, and long training times. To address this difficulty, we propose the framework of Generalisable Agents for Neural Network Optimisation (GANNO) -- a multi-agent reinforcement learning (MARL) approach that learns to improve neural network optimisation by dynamically and responsively scheduling hyperparameters during training. GANNO utilises an agent per layer that observes localised network dynamics and accordingly takes actions to adjust these dynamics at a layerwise level to collectively improve global performance. In this paper, we use GANNO to control the layerwise learning rate and show that the framework can yield useful and responsive schedules that are competitive with handcrafted heuristics. Furthermore, GANNO is shown to perform robustly across a wide variety of unseen initial conditions, and can successfully generalise to harder problems than it was trained on. Our work presents an overview of the opportunities that this paradigm offers for training neural networks, along with key challenges that remain to be overcome.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
메모리 기반 조율: 동적 제조 환경에서 다중 에이전트 적응을 위한 그래프 구조 경험 재사용
Coordinating from Memory: Graph-Structured Experience Reuse for Multi-Agent Adaptation in Dynamic Manufacturing
동적 제조 환경에서는 기계 고장, 긴급 작업 도착, 처리 시간 변동과 같은 빈번한 운영 교란 하에서 다중 에이전트 시스템이 효과적으로 조율해야 한다. 기존 다중 에이전트 강화학습 접근법은 각 교란 에피소드를 독립적으로 처리하여, 향후 적응을 가속할 수 있는 귀중한 조율 경험을 버린다. 본 논문에서는 동적 제조 환경에서의 다중 에이전트 조율을 위한 그래프 구조 경험 메모리(GSEM) 프레임워크를 제안한다. 이 프레임워크는 작업 종속성, 기계 상태, 에이전트 간 협업 패턴을 포착하는 이종 관계 그래프로 역사적 조율 에피소드를 인코딩한다. 새로운 교란이 발생하면 그래프 신경망 기반 검색 메커니즘이 구조적으로 유사한 과거 에피소드를 식별하여, 처음부터 학습하는 대신 경험 기반 정책 적응을 가능하게 한다. 세 가지 교란 유형을 포함하는 동적 유연 작업장 스케줄링 벤치마크에서의 실험 결과, GSEM은 가장 강력한 메모리 증강 기준선 대비 makespan을 4.1%-10.0% 줄이고 적응 시간을 33%-38% 단축했으며, 교란 빈도가 높을수록 이 우위가 커진다. 소거 연구와 교차 교란 전이 실험은 그래프 구조 인코딩과 유사도 기반 검색의 필요성을 추가로 검증하고, 학습된 조율 패턴의 교차 교란 일반화 가능성을 입증한다.
자율 주문 피커의 동적 배터리 관리를 위한 심층 강화학습
Deep Reinforcement Learning for Dynamic Battery Management of Autonomous Order Pickers
창고 내 자율 이동 로봇(AMR)의 배터리 충전은 주문 처리 시간과 처리량 모두에 큰 영향을 미치는 핵심 운영 과제입니다. 본 연구에서는 로봇이 최적 충전 결정을 학습해야 하는 확률적 주문 도착 환경에서의 동적 AMR 충전 문제를 다룹니다. 전통적인 고정 규칙 기반 휴리스틱은 동적 환경에서 준최적 결과를 보이는 경우가 많고 다중 AMR 조정을 고려하지 못해 심각한 자원 비효율로 이어집니다. 이러한 한계를 극복하기 위해, 우리는 고정 충전 스테이션이 있는 다중 블록 창고에 특화된 근위 정책 최적화(PPO) 기반 심층 강화학습(DRL) 프레임워크를 제안합니다. 제안 모델은 충전 스테이션 선택과 최적 충전 시간이라는 두 가지 핵심 결정을 동적으로 학습하며, 스테이션에서의 예상 대기 시간을 명시적으로 고려합니다. 광범위한 수치 실험을 통해 제안 모델을 최신 DRL 및 전통적 휴리스틱 접근법과 벤치마크 비교하였습니다. 실험 결과, 제안한 PPO 프레임워크는 가장 강력한 기준선 대비 주문 완료율을 최대 6% 향상시키는 동시에 충전 작업에 소요되는 총 시간을 크게 단축시켰습니다. 또한, 다양한 창고 구성 및 확률적 도착률에 걸쳐 모델의 강건성을 검증하였습니다. 마지막으로, 학습된 DRL 정책을 해석함으로써 표준 벤치마크 대비 우수성에 대한 유용한 운영적 인사이트를 제공합니다.
동적 다중 차량 경로 문제를 위한 보상 밀도 휴리스틱: 성능 및 계산 효율성
Reward-Density Heuristic for Dynamic Multi-Vehicle Routing: Performance and Computational Efficiency
차량 경로 문제(VRP)와 그 변형들은 현대 물류 및 도시 이동성에서 실질적으로 가장 중요한 최적화 과제 중 하나이다. 본 연구에서는 VRP와 오리엔티어링 문제(OP)의 요소를 결합한 동적 온라인 변형을 다루며, 차량 집단이 새로운 작업이 지속적으로 도착하는 상황에서 실시간으로 재계획을 수행하면서 고정된 시간 지평선 내에 수집되는 누적 보상을 최대화해야 한다. 본 연구는 동적 다중 차량 할당을 위한 보상 밀도 휴리스틱을 제안하고 평가하며, 이를 Efficiency 휴리스틱이라 칭한다. 자율 드론 작업 할당과 도시 택시 배차라는 두 가지 응용 도메인에서 다양한 차량 집단 규모 및 작업 규모에 걸쳐 이 방법을 평가한다. 제안된 방법은 네 가지 고전적 구성 휴리스틱과 세 가지 메타휴리스틱 알고리즘(적응형 대규모 이웃 탐색(Adaptive Large Neighbourhood Search), 유전 알고리즘(Genetic Algorithm), 시뮬레이티드 어닐링(Simulated Annealing))과 동일한 조건 하에 비교된다. 테스트된 모든 구성에서 Efficiency 휴리스틱은 최고의 메타휴리스틱 알고리즘과 동등한 솔루션 품질을 달성하면서도 계획 시간은 2~3 자릿수 더 적게 요구하여, 보상 대 계산량 프론티어에서 모든 경쟁 방법에 대해 파레토 지배(Pareto dominance)를 확립한다. 이러한 결과는 실시간 할당 및 배차 시스템을 위한 실용적인 설계 원칙을 시사한다: 동적이고 시간 제약이 있는 경로 환경에서, 신중하게 설계된 탐욕적 휴리스틱은 정교한 탐색 절차와 대등한 결과를 계산 비용의 극히 일부만으로 달성할 수 있으며, 이로 인해 온라인 배포에 더 적합하다.
낙농장에서의 다목적 배터리 관리를 위한 다중 에이전트 심층 강화학습
Multi-Agent Deep Reinforcement Learning for Multi Objective Battery Management in Dairy Farms
아일랜드 낙농 산업은 재생에너지 통합 및 탄소 배출 감소 측면에서 큰 잠재력을 지니고 있다. 그러나 분산 발전 제어 연구는 주로 주거 및 상업 분야에 집중되어 있다. 낙농 분야에서의 효과적인 재생에너지 통합에 기여하기 위해, 본 논문은 차등 진화(differential evolution)와 다중 에이전트 심층 강화학습에 기반한 다목적 최적화 제어 시스템을 제안한다. 제안된 제어 시스템은 두 개의 층으로 구성된다: 상위 층은 동적 가격 책정을 활용하고, 하위 층은 배터리 관리를 위한 다중 에이전트 강화학습에 기반한다. 또한 본 논문은 농촌 배전 회로에서 제안된 제어 시스템의 전기적 응답을 시뮬레이션한다. 시뮬레이션 결과, 제안된 제어 프레임워크는 규칙 기반 모델 대비 에너지 차익거래(energy arbitrage) 수익을 최대 18%까지 향상시키고, 비용을 크게 증가시키지 않으면서 분산 발전 활용도를 높이며, 전압 변동 측면에서 아일랜드 전력망 규정을 준수함을 보인다.
Smart charging of large fleets of Electric Vehicles: Independent Multi-Agent Reinforcement Learning approaches
A Systematic Approach to Multi-Agent AI from Advanced Regulatory Control Theory: Safe and Auditable LLM Operator Agents for Process Control
토론
이 논문과 연결된 포럼 글이 아직 없습니다.