arXiv:2305.05163

Cooperating Graph Neural Networks with Deep Reinforcement Learning for Vaccine Prioritization

Lu Ling, Washim Uddin Mondal, Satish V, Ukkusuri

제출 2023-05-09

원문 초록

This study explores the vaccine prioritization strategy to reduce the overall burden of the pandemic when the supply is limited. Existing methods conduct macro-level or simplified micro-level vaccine distribution by assuming the homogeneous behavior within subgroup populations and lacking mobility dynamics integration. Directly applying these models for micro-level vaccine allocation leads to sub-optimal solutions due to the lack of behavioral-related details. To address the issue, we first incorporate the mobility heterogeneity in disease dynamics modeling and mimic the disease evolution process using a Trans-vaccine-SEIR model. Then we develop a novel deep reinforcement learning to seek the optimal vaccine allocation strategy for the high-degree spatial-temporal disease evolution system. The graph neural network is used to effectively capture the structural properties of the mobility contact network and extract the dynamic disease features. In our evaluation, the proposed framework reduces 7% - 10% of infections and deaths than the baseline strategies. Extensive evaluation shows that the proposed framework is robust to seek the optimal vaccine allocation with diverse mobility patterns in the micro-level disease evolution system. In particular, we find the optimal vaccine allocation strategy in the transit usage restriction scenario is significantly more effective than restricting cross-zone mobility for the top 10% age-based and income-based zones. These results provide valuable insights for areas with limited vaccines and low logistic efficacy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21653v3cs.LG공통 태그 reinforcement-learning, Deep Reinforcement Learning

Molt: 에이전트 강화학습을 위한 확장 가능한 PyTorch 네이티브 학습 프레임워크

Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning

에이전트 강화학습(RL)은 에이전트 및 학습 알고리즘에 대한 빠른 실험을 필요로 하지만, 대규모 정책과 긴 멀티모달 궤적은 상당한 분산 인프라를 요구합니다. 본 논문에서는 네 가지 기여를 통해 이러한 목표들을 결합한 경량 PyTorch 및 Hugging Face 네이티브 프레임워크인 MOLT를 제시합니다. MOLT는 약 9,200줄의 프레임워크 코드 내에서 Hugging Face 모델의 직접 로딩과 실험적으로 검증된 1조 개 매개변수(parameter) 확장성을 결합합니다. 통합된 OpenAI 및 Anthropic 호환 인터페이스는 컨텍스트 압축의 자동 처리를 통해 기존 에이전트들을 통합합니다. 완전 비동기 학습은 에이전트 롤아웃(rollout)과 정책 최적화를 중첩하여 가변적인 에이전트 실행 시간을 수용합니다. 분산 경험 저장은 긴 멀티모달 궤적에 대한 중앙 집중식 롤아웃 메모리 병목 현상을 제거합니다. 1조 개 매개변수 정책에서 전체 RL 학습 파이프라인을 실험적으로 검증하고 30B 전문가 혼합(MoE) 에이전트를 통해 지속적인 학습을 입증함으로써, MOLT가 대규모 에이전트 RL 연구를 위한 경량 기반임을 확립합니다.

arXiv:2609.27741v1cs.LG공통 태그 reinforcement-learning, Deep Reinforcement Learning

극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기

Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons

가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.

arXiv:2609.28085v1cs.LG공통 태그 Deep Reinforcement Learning, Graph Neural Network

잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝

Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling

잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.

arXiv:2609.27321v1cs.AI공통 태그 reinforcement-learning, Deep Reinforcement Learning

검증 가능한 은닉 동역학 플레이: 풀린 메커니즘으로부터 에이전틱 RL 환경 생성

Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms

언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.

arXiv:2609.27745v1cs.AI공통 태그 reinforcement-learning, Deep Reinforcement Learning

일반화 가능한 POMDP 해결을 위한 환경적 그루포이드의 범주론적 내재화

Categorical Internalisation of Environmental Groupoids for Generalisable POMDP Solving

본 논문은 고차원의 부분 관측 가능한 환경에서 강화학습을 구조화하고 개선하기 위한 실용적인 프레임워크로서 범주론(category theory)을 제안합니다. 저자들은 대칭 궤도(symmetry orbit)에 의해 유도된 동치류로 상태 공간을 분할하여 환경 상태 간의 대칭성을 모델링하고, 지정된 표준 대표원(canonical representative)을 갖는 그루포이드(groupoid)로 각 동치류를 구성합니다. 이를 통해 에이전트는 모든 방향이나 위치를 완전히 새로운 문제로 취급하는 대신, 유사한 여러 환경 상태에 걸쳐 학습한 내용을 동시에 공유할 수 있습니다. 따라서 학습은 각 궤도가 한 번씩만 표현되는 대칭 축소 상태 공간에서 수행되며, 구조를 보존하는 동시에 중복성을 제거하고 표본 효율성(sample efficiency)을 향상시킵니다. 저자들은 이 프레임워크를 표준 강화학습 파이프라인 내에 구현하고 부분 관측 가능한 벤치마크에서 두 가지 서로 다른 접근 방식을 평가하여, 궤도 기반 분할이 잠재적 대칭성을 나타내는 환경에서 일관된 성능 향상을 가져옴을 입증합니다. 이러한 실증적 결과를 넘어, 본 접근 방식은 범주론적 구조가 추상적 강화학습 정식화와 계산적 응용 사이의 원리적인 가교를 어떻게 제공하는지 보여주며, 이를 통해 더 구조화되고 확장 가능한 학습 시스템으로 나아가는 경로를 확립합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.