arXiv:2408.14864

Dynamic operator management in meta-heuristics using reinforcement learning: an application to permutation flowshop scheduling problems

Maryam Karimi Mamaghan, Mehrdad Mohammadi, Wout Dullaert, Daniele Vigo, Amir Pirayesh

제출 2024-08-27

원문 초록

This study develops a framework based on reinforcement learning to dynamically manage a large portfolio of search operators within meta-heuristics. Using the idea of tabu search, the framework allows for continuous adaptation by temporarily excluding less efficient operators and updating the portfolio composition during the search. A Q-learning-based adaptive operator selection mechanism is used to select the most suitable operator from the dynamically updated portfolio at each stage. Unlike traditional approaches, the proposed framework requires no input from the experts regarding the search operators, allowing domain-specific non-experts to effectively use the framework. The performance of the proposed framework is analyzed through an application to the permutation flowshop scheduling problem. The results demonstrate the superior performance of the proposed framework against state-of-the-art algorithms in terms of optimality gap and convergence speed.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13923v1cs.NI공통 태그 Scheduling, Management

강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어

Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning

심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.

arXiv:2608.24471v2cs.AI공통 태그 Q-Learning, Scheduling

민첩 관측 위성을 활용한 해상 이동 표적 관측 스케줄링을 위한 암묵적 Q-러닝 기반 개미 군집 최적화

Implicit Q-learning-bootstrapped ant colony optimization for maritime moving-target observation scheduling with agile satellites

민첩 지구 관측 위성을 활용한 해상 이동 표적 관측 스케줄링은 동적이고 순서 의존적인 조합 최적화(combinatorial optimization) 문제입니다. 해수면 표적은 지속적으로 이동하므로, 표적의 움직임과 위성 궤도 기하 구조에 따라 관측 가능 윈도우가 가변적으로 변합니다. 따라서 스케줄러는 시간 윈도우, 자세 기동 및 탑재 자원 제약 조건 하에서 작업 선택, 위성 할당, 관측 윈도우 선택, 관측 순서를 공동으로 결정해야 합니다. 본 논문에서는 다중 위성 해상 이동 표적 관측 스케줄링을 위해 암묵적 Q-러닝(implicit Q-learning)을 부트스트랩한 개미 군집 최적화(ant colony optimization) 방법인 IQACO를 제안합니다. IQACO는 작업 선택 정책을 직접 학습하는 대신, 오프라인 암묵적 Q-러닝 모듈을 구성적 개미 군집 최적화에 임베딩하여 페로몬 요인, 휴리스틱 요인 및 증발률을 적응적으로 조절합니다. 압축된 탐색 상태 표현은 페로몬 분포, 현재 및 역대 최고 해의 품질, 반복(iteration) 진행 상황을 포착합니다. 온라인 스케줄링 중에는 개미 군집 최적화가 실행 가능한 관측 시퀀스를 구성하는 동시에, 학습된 정책이 현재 탐색 상태에 맞춰 탐색 동작을 조정합니다. 다양한 규모와 위성 구성을 가진 14개 시나리오에서의 실험 결과, IQACO는 비교 알고리즘들보다 지속적으로 우수한 성능을 보였으며 기존 개미 군집 최적화 대비 평균 목적 함수 값을 2.86%~9.41% 향상시켰습니다. 추가 비교 및 보완 실험은 다양한 스케줄링 조건과 문제 설정 전반에서 본 방법의 효과성과 강건성을 입증합니다. 이러한 결과는 오프라인 가치 학습이 제약이 있는 해상 이동 표적 관측 스케줄링을 위한 효과적인 적응형 탐색 제어 메커니즘을 제공함을 보여줍니다.

arXiv:2609.27446v1cs.LG공통 태그 Q-Learning, Scheduling

양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습

Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.

arXiv:2609.23130v1cs.AI공통 태그 Scheduling, Management

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

arXiv:2607.22400v1cs.NI공통 태그 Scheduling, Management

자율 엣지 자원 할당을 위한 자기 보정 에이전틱 AI 프레임워크

A Self-Calibrating Agentic AI Framework for Autonomous Edge Resource Allocation

대규모 언어 모델(LLM)은 점점 더 자율 에이전트로 배포되며, 정적 대화형 인터페이스에서 복잡한 추론, 도구 실행, 의사결정이 가능한 동적 시스템으로 전환되고 있다. 그러나 이러한 에이전틱 AI 시스템의 운영 신뢰성은 개방형 환경에서 신뢰할 수 있는 ground truth(기준 진실값)의 부재와 시간이 지남에 따라 운영 드리프트가 증가할 위험에 의해 근본적으로 도전받는다. 이 문제를 해결하기 위해, LLM 기반 시스템 내에서 자율적 무결성을 강제하도록 설계된 에이전틱 AI 프레임워크를 제안하고 실험적으로 평가한다. 우리는 지속적인 인간 감독 없이 ARIMA 예측기(forecaster)를 통합하여 드리프트를 완화하고 ground truth를 동적으로 근사하는 자기 보정(self-calibration) 메커니즘을 설계한다. 방법론의 효과와 신뢰성을 입증하기 위해, 엣지 컴퓨팅 네트워크에서 영지식(zero-knowledge) 워크로드의 자원 사용량 프로파일링이라는 복잡한 영역에 이를 적용한다. 실험 결과, 제안된 자기 보정 에이전틱 프레임워크가 영지식 워크로드를 성공적으로 프로파일링하며, 자원 사용량 예측에서 기준선 LLM 에이전트보다 91.7% 더 높은 정확도를 달성하고, 순수 프로파일링 대비 예측 속도를 71.7% 개선하여, 분산 인프라에 자율 AI를 배포하기 위한 견고한 기반을 마련함을 보여준다. 또한, 제안된 ARIMA leaping 알고리즘을 사용한 ground truth 생성은 동일한 정확도를 달성하면서 표준 ARIMA 예측 알고리즘보다 52% 더 빠르다.

arXiv:2607.20694v1cs.LG공통 태그 Scheduling, Management

귀속 시장: 계획된 작업과 수행된 행동 간 분수 크레딧 할당을 위한 Fisher 시장 공식화

Attribution Markets: A Fisher-Market Formulation for Fractional Credit Assignment Between Planned Tasks and Performed Actions

개인 및 조직의 계획 시스템은 점차 어긋나는 두 가지 기록을 유지한다: 계획된 것(작업의 노력 예산)과 실제로 수행된 것(기록된 행동의 지속 시간과 설명). 기존 시스템은 이 둘을 배타적인 전부 아니면 전무(all-or-nothing) 연결로 이어 붙이는데, 이는 실제로 관련은 있으나 연결되지 않은 노력을 고립시키고 활성 목표에 대한 거짓 정체(false stalls)를 보고한다. 우리는 이 연결을 준선형(quasi-linear) Fisher 시장으로 공식화한다: 계획된 작업은 예산 제약이 있는 구매자, 수행된 행동은 분할 가능한 재화이며, 텍스트/구조/시간적 신호를 융합한 신호가 각 구매자의 가치 평가(valuation)를 설정한다. 두 가지 시장 수단—판매자 예약 가격(seller reserve price)과 구매자 현금 옵션(buyer cash option)—은 보존(conservation), 엄격한 예산 상한, 그리고 증명 가능한 정크 필터(junk filter)를 정리로써 산출한다. 우리는 작업이 계획에 가까워질수록 진행을 할인하는 오목한(comcave) 완료 효용(completion utility)으로 시장을 확장한다; 시장 알고리즘에 대한 표준 수렴 이론은 여기로 전이되지 않으며, 이는 Brouwer 존재 정리와 명시적 대각 우세(diagonal-dominance) 조건 하의 국소 유일성을 갖는 포화 임계값(satiation-threshold) 고정점으로 해결하고, 무작위 및 적대적(adversarial) 사례에서 실증적으로 검증한다. 탈순환(de-circularized) 다중 시드(multi-seed) 벤치마크—관측된 친화도(affinity)가 채점된 정답(ground truth)과 독립적으로 손상됨—은 진짜 약점을 드러낸다: 시장의 날카롭고 엔트로피가 0인 균형은 엔트로피 정규화된 최적 수송(optimal transport)의 영구적으로 평활화된 균형보다 친화도 노이즈에 더 민감하다. 우리는 두 방법을 통합하는 단일 매개변수 엔트로피 정규화 일반화와 그 정규화 강도에 대한 노이즈 적응형 규칙으로 이를 해결한다. 우리는 완전한 재현성 매개변수를 보고하고, 한계를 솔직히 논의하며, 결과를 멀티터치 귀속(multi-touch attribution), 최적 수송, 온라인 Fisher 시장 알고리즘과 연관 짓는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.