arXiv:2611.22921v1 cs.LG

행동과 결과의 결합도: 공급망 운영에서 오프라인 강화학습의 투자 전 타당성 평가

Action-outcome coupling: a pre-investment feasibility audit for offline reinforcement learning in supply chain operations

Tung Dang, The Hung Phung, Son Lam Nguyen, Tu Nguyen

제출 2026-11-18

한국어 초록

물류 분야의 오프라인 강화학습이나 차선 행동 추천 시스템 같은 처방적 분석 사업은 보유한 이력 로그가 더 나은 의사결정 정책을 뒷받침하는지 확인하기 전에 예산이 배정되는 경우가 많다. 기록된 행동에 따라 결과 기댓값이 얼마나 바뀌는지 측정하는 총효과 분산 지표인 행동–결과 결합도로 이 투자 전 타당성 문제를 정식화한다. 결합도는 알고리즘과 무관하게 어떤 정책이 달성할 수 있는 가치의 상한을 제공한다. 단일 단계 목적과 할인된 순차 목적 모두에서 의사결정당 화폐 단위로 표현된다. 가치 모델의 적합과 그 모델의 탐욕적 정책 평가에 같은 데이터를 쓰는 잘못된 워크플로가 부당하게 승인될 점근적 위험도 분석한다. 잘못된 승인율은 주로 선택을 수행하는 상태 셀의 수에 좌우된다. 셀이 하나면 검정의 명목 수준이지만 수십 개면 거의 확실해진다. 데이터의 겹침은 영향이 더 작았다. 로그를 고정 정책과 문맥별 정책에 대해 각각 네 가지 의사결정 지원 수준으로 분류하고, 진행을 멈추는 이유를 명시하는 평가를 제안한다. 무작위 배정 전자상거래 로그에서는 고정 추천 정책이 적합했으며, 이론적 상한의 30%에 해당하는 이득을 확인했다. 나머지 차이는 80개 행동을 포함한 설계에서 상한이 느슨했기 때문이다. 공개 물류 로그 두 개는 서로 다른 단계에서 기준을 넘지 못했다. 하나는 목표값이 행동에서 회계상 항등식으로 정해졌다. 다른 하나는 클러스터 27개에서 추정한 결합도가 설계의 탐지 한계보다 낮았다. 다만 보수적인 오프라인 학습기는 시드 30개 중 29개에서 개선을 확인했다.

원문 초록

Prescriptive analytics initiatives in logistics, such as offline reinforcement learning and next-best-action systems, are often funded before anyone verifies that the available historical logs can support an improved decision policy. We formalise this pre-investment feasibility question via action-outcome coupling: a total-effect variance index measuring how much expected outcomes change with the logged action. Coupling provides an algorithm-independent upper bound on any policy's achievable value, expressed in monetary units per decision for both single-step and discounted sequential objectives. We also analyse the asymptotic false-licensing risk of an invalid workflow: fitting a value model and evaluating the model's greedy policy on the same data. The false-licence rate is driven mainly by the number of state cells over which selection is performed, rising from the nominal test level with one cell to near certainty with a few dozen, while overlap has a smaller effect. We then propose an audit that assigns logs to four tiers of decision support, separately for fixed and contextual policies, and returns an explicit stopping rationale. On a randomised e-commerce log, the audit endorses a fixed recommendation policy, certifying gains equal to 30 per cent of the theoretical ceiling; the remaining gap reflects bound looseness under an 80-action design. Two public logistics logs fail at different checkpoints: one because the target is an accounting identity of the action, and another because, with 27 clusters, estimated coupling stays below the design's detectability threshold even though a conservative offline learner certifies an improvement in 29 of 30 seeds.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22921v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.