Integrating Human Knowledge Through Action Masking in Reinforcement Learning for Operations Research
원문 초록
Reinforcement learning (RL) provides a powerful method to address problems in operations research. However, its real-world application often fails due to a lack of user acceptance and trust. A possible remedy is to provide managers with the possibility of altering the RL policy by incorporating human expert knowledge. In this study, we analyze the benefits and caveats of including human knowledge via action masking. While action masking has so far been used to exclude invalid actions, its ability to integrate human expertise remains underexplored. Human knowledge is often encapsulated in heuristics, which suggest reasonable, near-optimal actions in certain situations. Enforcing such actions should hence increase trust among the human workforce to rely on the model's decisions. Yet, a strict enforcement of heuristic actions may also restrict the policy from exploring superior actions, thereby leading to overall lower performance. We analyze the effects of action masking based on three problems with different characteristics, namely, paint shop scheduling, peak load management, and inventory management. Our findings demonstrate that incorporating human knowledge through action masking can achieve substantial improvements over policies trained without action masking. In addition, we find that action masking is crucial for learning effective policies in constrained action spaces, where certain actions can only be performed a limited number of times. Finally, we highlight the potential for suboptimal outcomes when action masks are overly restrictive.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어
Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning
심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.
때로는 걷기 전에 뛰어야 한다: VLM 자율주행을 위한 Run-then-Walk 스케줄링 전략
Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving
최근 비전-언어 모델(VLM) 기반 자율주행 플래너는 주행 성능을 최적화하기 위해 GRPO 방식의 강화학습(RL)을 도입하고 있습니다. 그러나 기존 GRPO 방식은 주행 효율성만을 최적화하여 주행 진행은 추구하되 안전하지 않은 동작을 유발하거나, 초기에 안전 제약을 강제하여 지나치게 보수적인 동작으로 이어지며, 두 방식 모두 긴 학습 시간을 필요로 합니다. 이러한 문제를 해결하기 위해, 본 논문은 먼저 두 가지 뚜렷한 강화학습 체제를 밝혀냅니다. 즉, 높은 주행 진행을 적극적으로 탐색하는 진행 체제(Run-GRPO)와 안정적인 진행 상황에서 안전성을 회복하는 안전 체제(Walk-GRPO)입니다. 이러한 발견을 바탕으로, 더 우수한 성능과 더 빠른 수렴을 모두 달성하는 단순하면서도 효과적인 2단계 GRPO 보상 스케줄링 전략인 Run-then-Walk를 제안합니다. 단일 학습 단계 내에서 진행, 안전, 또는 둘의 혼합에 집중할 수 있는 1단계 강화학습과 달리, 이 스케줄은 진행 탐색과 안전성 복구를 명시적으로 분리합니다. Run 단계에서는 진행에 집중하여 정책(policy)이 보수적 바이어스에서 벗어나 높은 진행 모드를 발견할 수 있도록 합니다. 이어지는 Walk 단계에서는 종점 및 안전 전략을 도입하여 Run 단계에서 발생한 불안전한 동작을 복구합니다. 이러한 역순 스케줄은 Walk 우선 방식의 보수성과 공동 최적화 방식의 불안전한 진행 추구 문제를 극복합니다. 본 연구는 NAVSIMv1, NAVSIMv2, Navhard, nuScenes 등 다양한 벤치마크에서 여러 VLM 기반 플래너를 통해 이를 검증합니다. 광범위한 실험을 통해 베이스라인 대비 40~50% 적은 강화학습 학습 에포크(epoch)만을 요구하면서도 향상된 주행 성능을 입증합니다. 코드는 https://github.com/haha-yuki-haha/AutoDrive-P3_with_Run-then-walk 에서 제공됩니다.
추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화
From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.
자율 엣지 자원 할당을 위한 자기 보정 에이전틱 AI 프레임워크
A Self-Calibrating Agentic AI Framework for Autonomous Edge Resource Allocation
대규모 언어 모델(LLM)은 점점 더 자율 에이전트로 배포되며, 정적 대화형 인터페이스에서 복잡한 추론, 도구 실행, 의사결정이 가능한 동적 시스템으로 전환되고 있다. 그러나 이러한 에이전틱 AI 시스템의 운영 신뢰성은 개방형 환경에서 신뢰할 수 있는 ground truth(기준 진실값)의 부재와 시간이 지남에 따라 운영 드리프트가 증가할 위험에 의해 근본적으로 도전받는다. 이 문제를 해결하기 위해, LLM 기반 시스템 내에서 자율적 무결성을 강제하도록 설계된 에이전틱 AI 프레임워크를 제안하고 실험적으로 평가한다. 우리는 지속적인 인간 감독 없이 ARIMA 예측기(forecaster)를 통합하여 드리프트를 완화하고 ground truth를 동적으로 근사하는 자기 보정(self-calibration) 메커니즘을 설계한다. 방법론의 효과와 신뢰성을 입증하기 위해, 엣지 컴퓨팅 네트워크에서 영지식(zero-knowledge) 워크로드의 자원 사용량 프로파일링이라는 복잡한 영역에 이를 적용한다. 실험 결과, 제안된 자기 보정 에이전틱 프레임워크가 영지식 워크로드를 성공적으로 프로파일링하며, 자원 사용량 예측에서 기준선 LLM 에이전트보다 91.7% 더 높은 정확도를 달성하고, 순수 프로파일링 대비 예측 속도를 71.7% 개선하여, 분산 인프라에 자율 AI를 배포하기 위한 견고한 기반을 마련함을 보여준다. 또한, 제안된 ARIMA leaping 알고리즘을 사용한 ground truth 생성은 동일한 정확도를 달성하면서 표준 ARIMA 예측 알고리즘보다 52% 더 빠르다.
귀속 시장: 계획된 작업과 수행된 행동 간 분수 크레딧 할당을 위한 Fisher 시장 공식화
Attribution Markets: A Fisher-Market Formulation for Fractional Credit Assignment Between Planned Tasks and Performed Actions
개인 및 조직의 계획 시스템은 점차 어긋나는 두 가지 기록을 유지한다: 계획된 것(작업의 노력 예산)과 실제로 수행된 것(기록된 행동의 지속 시간과 설명). 기존 시스템은 이 둘을 배타적인 전부 아니면 전무(all-or-nothing) 연결로 이어 붙이는데, 이는 실제로 관련은 있으나 연결되지 않은 노력을 고립시키고 활성 목표에 대한 거짓 정체(false stalls)를 보고한다. 우리는 이 연결을 준선형(quasi-linear) Fisher 시장으로 공식화한다: 계획된 작업은 예산 제약이 있는 구매자, 수행된 행동은 분할 가능한 재화이며, 텍스트/구조/시간적 신호를 융합한 신호가 각 구매자의 가치 평가(valuation)를 설정한다. 두 가지 시장 수단—판매자 예약 가격(seller reserve price)과 구매자 현금 옵션(buyer cash option)—은 보존(conservation), 엄격한 예산 상한, 그리고 증명 가능한 정크 필터(junk filter)를 정리로써 산출한다. 우리는 작업이 계획에 가까워질수록 진행을 할인하는 오목한(comcave) 완료 효용(completion utility)으로 시장을 확장한다; 시장 알고리즘에 대한 표준 수렴 이론은 여기로 전이되지 않으며, 이는 Brouwer 존재 정리와 명시적 대각 우세(diagonal-dominance) 조건 하의 국소 유일성을 갖는 포화 임계값(satiation-threshold) 고정점으로 해결하고, 무작위 및 적대적(adversarial) 사례에서 실증적으로 검증한다. 탈순환(de-circularized) 다중 시드(multi-seed) 벤치마크—관측된 친화도(affinity)가 채점된 정답(ground truth)과 독립적으로 손상됨—은 진짜 약점을 드러낸다: 시장의 날카롭고 엔트로피가 0인 균형은 엔트로피 정규화된 최적 수송(optimal transport)의 영구적으로 평활화된 균형보다 친화도 노이즈에 더 민감하다. 우리는 두 방법을 통합하는 단일 매개변수 엔트로피 정규화 일반화와 그 정규화 강도에 대한 노이즈 적응형 규칙으로 이를 해결한다. 우리는 완전한 재현성 매개변수를 보고하고, 한계를 솔직히 논의하며, 결과를 멀티터치 귀속(multi-touch attribution), 최적 수송, 온라인 Fisher 시장 알고리즘과 연관 짓는다.
데이터 기반 블록 교체 스케줄링
Data Driven Block Replacement Scheduling
우리는 \textit{블록 교체 정책(block replacement policy)} 하에서 $N$대의 독립 동형 기계를 유지·관리하기 위한 데이터 기반 알고리즘을 개발한다. 이 정책에서는 각 기계가 고장 시 교체되고, 모든 기계가 길이 $k$의 정규 간격으로 일괄 교체된다. 수명 분포가 알려지지 않은 경우 운영 데이터로부터 비용을 최소화하는 간격 $k^*$를 학습하는 것이 목표이다. 각 의사결정 시점마다 운영자는 $k \in \{1, 2, \ldots, K\}$를 선택하고, 그 결과 고장 이력(완전 수명과 우측 검열(right-censored) 수명의 혼합)을 관측하며, 갱신 함수(renewal function)에 의해 결정되는 단위 시간당 비용을 부담한다. 이를 확률적 다중 팔 밴딧(stochastic multi-armed bandit)으로 형식화하고, $O(K \log T)$ 후회(regret)를 달성하는 Hoeffding 및 Bernstein 기반 하한 신뢰 구간(lower-confidence-bound) 알고리즘을 제안하며, 이는 Lai--Robbins 하한과 일치한다. 블록 교체에 고유한 중첩 관측(nested observation) 성질을 활용한 상관 변형(correlated variants)은 $O((K-k^*)\log T)$ 후회를 달성하고, 차선 arm $k < k^*$에 대한 직접 pull은 $O(1)$번만 필요하다. 보완적으로 Kaplan--Meier 갱신 알고리즘은 검열 데이터로부터 수명 분포를 비모수적으로 추정하여, 거의 확실(almost-sure)한 정책 일관성을 달성하고 장기 구간에서 실증적으로 거의 0에 가까운 추가 후회를 보인다. 또한 평균 비용 MDP 두 가지를 분석한다. 경과 시간(time-elapsed) 형식화는 임의의 수명 분포에 대해 블록 교체가 해당 정책 클래스 내에서 최적임을 보이고, 연령 벡터(age-vector) 형식화는 증가하는 고장률(increasing failure rate) 분포 하에서 단조 임계값(monotone threshold) 구조를 증명하며 gold-standard 비용 벤치마크를 제공한다. 수치 실험은 이론적 순서를 확인하고, 최적 블록 교체와 연령 의존(age-dependent) 교체 사이의 구조적 비용 격차를 밝힌다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.