다목적 조합 공급망 최적화를 위한 진화 기반 메타 강화학습
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
메타 강화학습(meta-reinforcement learning)은 변화하는 환경과 선호 설정에 걸쳐 신속한 정책 적응을 가능하게 하므로 다목적 최적화에 유망한 접근법이다. 그러나 기존의 퓨샷(few-shot) 방법은 보통 단일 공유 메타 정책(meta-policy)에서 파인튜닝(fine-tuning)하므로, 특히 공급망 최적화와 같은 고차원 조합 문제에서 해 다양성을 줄이고 파레토 전선(Pareto front)의 탐험을 제한할 수 있다. 우리는 스칼라화(scalarisation) 가중치 공간에서 분해(decomposition)와 진화 탐색을 결합하는 개체군 기반 메타 강화학습 프레임워크를 제안한다. 이 프레임워크는 그래디언트 기반 메타학습(meta-learning)으로 학습된 각각 독립적인 메타 정책과 연결된 가중치 벡터의 개체군을 유지하고, 하이퍼볼륨(hypervolume)과 엔트로피(entropy) 기여도에 따라 엘리트 선택, 교차, 돌연변이를 통해 이 개체군을 반복적으로 정제한다. 경제적, 환경적, 사회적 목표가 충돌하는 다목적 공급망 설정에서 방법을 평가하고, 표준 강화학습 문제에서 일반성을 추가로 검증한다. 결과는 제안 접근법이 더 다양하고 잘 분포된 파레토 전선 근사를 제공하며, 교차 과제 적응을 개선하고, 복잡한 경우 Meta-multi-objective reinforcement learning 대비 하이퍼볼륨을 최대 32% 향상시키며, 모든 비교 방법 중 가장 낮은 평균 Hausdorff 거리를 달성함을 보여준다.