Generative Probabilistic Planning for Optimizing Supply Chain Networks
원문 초록
Supply chain networks in enterprises are typically composed of complex topological graphs involving various types of nodes and edges, accommodating numerous products with considerable demand and supply variability. However, as supply chain networks expand in size and complexity, traditional supply chain planning methods (e.g., those found in heuristic rule-based and operations research-based systems) tend to become locally optimal or lack computational scalability, resulting in substantial imbalances between supply and demand across nodes in the network. This paper introduces a novel Generative AI technique, which we call Generative Probabilistic Planning (GPP). GPP generates dynamic supply action plans that are globally optimized across all network nodes over the time horizon for changing objectives like maximizing profits or service levels, factoring in time-varying probabilistic demand, lead time, and production conditions. GPP leverages attention-based graph neural networks (GNN), offline deep reinforcement learning (Offline RL), and policy simulations to train generative policy models and create optimal plans through probabilistic simulations, effectively accounting for various uncertainties. Our experiments using historical data from a global consumer goods company with complex supply chain networks demonstrate that GPP accomplishes objective-adaptable, probabilistically resilient, and dynamic planning for supply chain networks, leading to significant improvements in performance and profitability for enterprises. Our work plays a pivotal role in shaping the trajectory of AI adoption within the supply chain domain.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
TOUR: 오프라인 강화학습을 위한 궤적 수준 언러닝 벤치마크
TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning
오프라인 강화학습(RL) 에이전트는 고정된 행동 궤적으로 학습되므로, 학습 후 선택된 데이터를 제거해야 할 때 궤적 수준 삭제가 중요하다. 이러한 삭제를 평가하기는 어렵다. 더 낮은 멤버십 점수가 궤적 제거, 다른 공격에 드러나는 잔존 기억, 또는 유용한 행동을 파괴하는 정책 붕괴를 반영할 수 있기 때문이다. 우리는 오프라인 RL에서의 궤적 수준 기억과 언러닝(Trajectory-level memOrization and Unlearning in offline RL, TOUR)을 소개한다. 이 벤치마크는 궤적 수준 분할, 매칭된 비멤버 대조군, 재학습 기준, 유지 성능 앵커, 다중 공격 프라이버시 감사를 결합한다. D4RL locomotion 실험과 탐색적 AntMaze 확장 전반에 걸쳐 TOUR는 일반적인 삭제 베이스라인이 환경에 따라 다른 프라이버시-유틸리티 거동을 보임을 보여준다. 재학습과 미세조정은 균일한 GA+Refit보다 더 강한 유지 유틸리티 기준을 제공하는 경우가 많으며, TrajDeleter는 유용한 비교 대상으로 남지만 동일한 감사 하에서는 일관되게 더 강하지는 않다. 기준 모델, 임계값, 편차, 동등성, 행동 오류, 표현 기반, 쿼리 제한 공격은 추가로 단일 가능도 기반 멤버십 점수가 삭제 품질을 과대평가할 수 있음을 보여준다. 평가된 설정에서 오프라인 RL 언러닝에 대한 결론은 따라서 단일 점수 감사 하에서는 안정적이지 않다. 이들은 매칭된 비멤버 구성, 재학습 상대 보정, 공격 계열, 유지 유틸리티, 그리고 진단 아키텍처 또는 구성요소 수준 증거에 대한 명시적 범위에 의존한다.
RENEW: 선호로부터 월드 모델 학습 및 모델 착취 복구를 향하여
RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences
월드 모델은 오프라인 강화학습(RL)에서 표본 효율을 높이고 고정된 데이터셋을 넘어 경험을 생성하기 위해 널리 사용된다. 그러나 데이터 커버리지가 얇은 영역에서는 모델 착취(model exploitation)에 취약하다. 기존 연구는 이를 더 많은 전문가 시연을 수집하거나(비용이 많이 들고, 위험하거나, 이용 불가능한 경우가 많음), 불확실한 영역을 피하는 보수적 알고리즘을 통해 해결했는데, 후자는 일반화를 제한한다. 우리는 대신 상상된 롤아웃(imagined rollouts)에 대한 인간 선호(human preferences)를 사용해 착취 문제를 직접 복구하는 방법을 제안하며, 인간이 심각한 역학(dynamics) 환각(hallucination)을 쉽게 발견할 수 있게 하는 강한 직관적 물리 지식을 활용한다. 이를 학습된 역학 모델 하에서 궤적 로그 우도(trajectory log-likelihoods)에 대한 Bradley-Terry 선호 손실(preference loss)인 Dynamics Learning from Human Feedback(DLHF)로 형식화한다. 안타깝게도 순진한(naive) DLHF는 표본 효율이 낮으므로, 인식론적 불확실성(epistemic uncertainty)을 사용해 모델이 가장 착취 가능한(exploitable) 지점에 파인튜닝(fine-tuning)을 집중하는 RENEW를 도입한다. Jumanji 및 고전 제어(classic control) 환경 여러 곳에서 평가한 결과, 순진한 DLHF는 과도한 선호 예산이 필요한 반면, RENEW는 표본 효율을 개선하고, 치명적 망각(catastrophic forgetting)을 제한하며, 사전학습(pretrained)된 월드 모델에서의 착취를 줄여 프레임워크를 실용적으로 만든다. 종합하면, 우리 결과는 선호가 월드 모델 역학을 직접 지도할 수 있다는 초기 증거를 제공하며, 오프라인 모델 기반 강화학습(model-based RL)에서 착취 문제를 해결하는 새로운 접근을 제시한다.
NFTR: 증명 가능한 모드 평균화에서 오프라인 목표 조건부 강화학습의 측지선 서브골 선택까지
NFTR: From Provable Mode-Averaging to Geodesic Subgoal Selection in Offline Goal-Conditioned RL
계층적 암묵적 Q-러닝(HIQL)은 오프라인 목표 조건부 강화학습(RL) 방법으로, 가치 함수 이점만으로 서브골을 선택한다. 이 규칙에는 두 가지 연관된 실패 모드가 있다. 낙관적 바이어스는 운 좋은 확률적 결과를 능숙한 선택으로 취급하고, 모드 붕괴는 다중 모드 서브골 분포를 종종 도달 불가능한 영역에 놓이는 단일 가우시안 평균으로 축소시킨다. 우리는 NFTR(삼각 슬랙 재가중치 부여를 통한 정규화 흐름 서브골 정책, Normalizing Flows subgoal policies with Triangle-slack Reweighting)을 제안한다. 조건부 정규화 흐름(Normalizing Flow)이 가우시안 정책을 대체하며, 폐쇄형 모드 평균화 결과는 NF를 AWR 기반 서브골 선택을 위한 최소 생성 클래스로 규명한다. 거리 정확도에 의존하지 않고 구조적 삼각 부등식 위에 구축된 삼각 슬랙 점수는 AWR 가중치를 곱셈적으로 보정하여, 우회 비용이 평균 도달 가능성을 초과하는 서브골의 가중치를 낮춘다. 삼각 슬랙은 결정론적 MDP의 측지선 위에서 소멸하며, 확률론적 역학 하에서 합성 가능성 위반에 대한 보수적 상한으로 유지된다. RWDR 목적 함수는 AWR의 집단 수준 단조 개선을 보존하고 세 항의 준최적성 분해를 허용한다. 이 두 요소를 결합하면, 위에서 설명한 가우시안 붕괴를 증명 가능하게 회피하고 확률론적 역학 하에서도 안정적으로 유지되는 서브골 선택이 가능해진다. GitHub 페이지: https://github.com/erdemtbao/NFTR
MoP-JEPA: 확률적 JEPA 월드 모델을 위한 하드 할당 예측기 혼합
MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models
JEPA 월드 모델은 잠재 회귀로 학습된 단일 결정론적 예측기로 다음 잠재 상태를 예측한다. 우리는 환경이 확률적일 때 이 방식이 구조적으로 실패함을 보인다: 분기 전이에서 회귀-최적 예측기는 후계 임베딩의 조건부 평균을 출력하는데, 이는 어떤 실제 다음 상태에도 해당하지 않는 두 상태 사이의 점이다. 우리는 결정론적 예측기와 게이팅된 전문가 혼합(MoE) 예측기에서 이 붕괴를 증명하고, MoP-JEPA의 하드 할당 예측기가 대신 전이 분포의 양자화기로 수렴함을 증명한다: 단일 순전파로 열거 가능한 후계 모드당 하나의 헤드로, 이는 플래너가 소비하는 인터페이스다. 누출 없는 평가를 적용한 공식 OGBench 오프라인 데이터에서, 단일 예측기 롤아웃에 대한 계획 수립은 낮은 성능($0.02$--$0.09$ 성공률)을 보이는 반면, 우리의 예측된 모드에 대한 계획 수립은 최대 $0.85$에 도달하며 모든 태스크에서 결정론적, 게이팅된 MoE, 변분 예측기보다 앞선다. 다중 예측 평가는 커버리지 무임승차를 유발할 수 있으므로, 검증 프로토콜이 방법의 일부로 포함된다: 입력 불가지론적 코드북 제어, 셔플된 컨텍스트 테스트, 라우터-게이팅된 판독값, 전이 정밀도 가드, 그리고 모델이 블라인드로 전이 그래프를 제안하고 실측값은 결과 확인에만 사용되는 검증된 경로 기준이 포함된다. 이 기준 하에 우리의 방법은 세 가지 미로 모두에서 가장 강력한 소프트 대안을 $2$--$5\times$ 능가하며, 프로토콜은 해당 기준선의 원시 점수에서 나타나는 나머지 격차를 존재하지 않는 예측된 전이를 통한 경로로 식별한다. 동일한 모델이 실제 환경에서 실행되어 가장 어려운 미로에서 공개된 OGBench 기준선 7개 중 2위를 기록한다. 다중모달 동역학은 JEPA 월드 모델이 계획을 수립할 수 있는지 여부를 결정하며, 하드 할당을 사용한 예측기 혼합은 최소하고 검증 가능한 수정책이다.
Generalization in offline RL: The structure is more important than the amount of pessimism
토론
이 논문과 연결된 포럼 글이 아직 없습니다.