arXiv:2007.15189

Deep Multi-View Spatiotemporal Virtual Graph Neural Network for Significant Citywide Ride-hailing Demand Prediction

Guangyin Jin, Zhexu Xi, Hengyu Sha, Yanghe Feng, Jincai Huang

제출 2020-07-30

원문 초록

Urban ride-hailing demand prediction is a crucial but challenging task for intelligent transportation system construction. Predictable ride-hailing demand can facilitate more reasonable vehicle scheduling and online car-hailing platform dispatch. Conventional deep learning methods with no external structured data can be accomplished via hybrid models of CNNs and RNNs by meshing plentiful pixel-level labeled data, but spatial data sparsity and limited learning capabilities on temporal long-term dependencies are still two striking bottlenecks. To address these limitations, we propose a new virtual graph modeling method to focus on significant demand regions and a novel Deep Multi-View Spatiotemporal Virtual Graph Neural Network (DMVST-VGNN) to strengthen learning capabilities of spatial dynamics and temporal long-term dependencies. Specifically, DMVST-VGNN integrates the structures of 1D Convolutional Neural Network, Multi Graph Attention Neural Network and Transformer layer, which correspond to short-term temporal dynamics view, spatial dynamics view and long-term temporal dynamics view respectively. In this paper, experiments are conducted on two large-scale New York City datasets in fine-grained prediction scenes. And the experimental results demonstrate effectiveness and superiority of DMVST-VGNN framework in significant citywide ride-hailing demand prediction.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22875v1cs.LG공통 태그 Prediction, Graph Attention, Graph Neural Network

Graph Attention Network를 이용한 토양 미세플astics 및 유기물의 공간 예측

Spatial Prediction of Soil Microplastics and Organic Matter Using Graph Attention Networks

토양 미세플astics 및 유기물의 정확한 추정은 생태계 건강을 평가하고 지속 가능한 토지 이용을 지원하는 데 필수적이다. 본 연구는 91개의 지리좌표가 부여된 토양 시료 간 공간적 의존성을 모델링하기 위해 Graph Attention Networks(GAT)를 사용하는 그래프 기반 심층 학습 접근법을 제시한다. 공간 좌표, 토양 특성, 토지 이용 데이터를 통합하여 지역적 상호작용을 포착하는 2층 GAT 아키텍처를 개발하였다. 최종 모델은 우수한 성능을 보였으며, 미세플astics에 대해 RMSE 625.06($R^2 = 0.87$), 유기물에 대해 0.43($R^2 = 0.91$)을 달성하였다. 그러나 교차 검증 결과 일반화 성능이 제한적임이 드러났으며, 이는 아마도 작은 표본 크기와 희소한 그래프 구조 때문인 것으로 보인다. 이러한 결과는 공간적 토양 예측에서 GAT의 잠재력을 보여주며, 밀집된 데이터셋과 개선된 그래프 연결성의 필요성을 강조한다.

arXiv:2610.15730v1cs.LG공통 태그 Scheduling, Graph Neural Network

시간적 그래프 신경망을 위한 의존성 인식 다중 GPU 학습 프레임워크

A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks

시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다. 본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.

arXiv:2610.02442v1cs.LG공통 태그 Prediction, Scheduling

AI 기반 열 인지형 데이터 센터 용량 계획

AI-driven Thermal-aware Data Center Capacity Planning

대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.

arXiv:2609.28085v1cs.LG공통 태그 Scheduling, Graph Neural Network

잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝

Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling

잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.

arXiv:2609.26737v1cs.SI공통 태그 Graph Attention, Graph Neural Network

확산 유도 공간 어텐션 기반 중첩 커뮤니티 탐지

Diffusion-Induced Spatial Attention Overlapping Community Detection

중첩 커뮤니티 탐지는 노드가 여러 구조적 또는 기능적 그룹에 동시에 속하는 네트워크를 모델링하는 데 필수적이다. 기존 그래프 신경망 접근법은 일반적으로 국소 메시지 패싱에 의존하는데, 이는 스무딩(smoothing)으로 인해 커뮤니티 경계를 흐릴 수 있으며 구조적으로 관련된 장거리 의존성의 표현을 제한한다. 본 논문에서는 영향력 확산 동역학에서 도출한 구조적 사전 분포(structural prior), 희소 멀티헤드 어텐션, 비음수 커뮤니티 소속도 학습을 결합한 딥러닝 프레임워크인 DISCO(Diffusion-Induced Spatial Attention Community Detection)를 제안한다. 이 사전 분포는 직접 인접한 이웃 너머의 후보 상호작용을 식별하고 구조적 근접도에 따라 어텐션에 편향을 부여하며, 베르누이-푸아송(Bernoulli-Poisson) 엣지 재구성 목적 함수는 노드 속성, 구조적 프로파일 또는 이 둘 모두로부터 중첩 커뮤니티를 추론할 수 있게 한다. 벤치마크 실험 결과, DISCO는 다양한 입력 구성에서 기존의 그래프 합성곱 및 그래프 어텐션 접근법과 대등한 성능을 보였다. 실용적 적용 가능성을 보이기 위해, 연속된 통신 네트워크 스냅샷에서 추론한 커뮤니티 할당 간의 변화가 해석 가능한 이상 징후 신호를 제공하는 사이버 보안 사용 사례를 개념 증명(proof-of-concept)으로 제시한다. 시간적 커뮤니티 유사도는 구조적 이탈을 식별하고, 노드 수준의 기여도는 이와 관련된 장치를 찾는 데 도움을 준다. 따라서 DISCO는 중첩 커뮤니티 탐지를 위한 유연한 방법이자 동적 네트워크의 구조적 변화를 분석하기 위한 기반을 제공한다.

arXiv:2607.22356v1cs.LG공통 태그 Scheduling, Graph Neural Network

심층 강화학습을 활용한 라스트마일 픽업 통합 주문 배차 및 경로 최적화

Integrated Order Dispatching and Routing for Last-Mile Pickup via Deep Reinforcement Learning

최근 몇 년간 라스트마일 픽업 운영의 복잡성이 증가하면서 물류 플랫폼에서 빠르고 정확한 의사결정에 대한 필요성이 커졌다. 이 과제는 근본적으로 두 가지 핵심적이고 긴밀히 결합된 의사결정 과정, 즉 주문 배차와 경로 최적화에 의해 촉발된다. 이들을 개별적으로 해결하면 상호 의존성을 간과하게 되며, 완전한 end-to-end 학습은 희소 보상(sparse reward)으로 인해 대규모이고 가변적인 규모의 인스턴스에서 불안정하고 비용이 많이 든다. 이 문제를 해결하기 위해, 학습된 경로 오라클(routing oracle)과 실시간 배차 휴리스틱을 결합하는 통합 최적화 프레임워크를 제안한다. 경로 최적화 하위 문제에 대해서는 Look-Ahead Courier-Personalized 디코더를 갖춘 Dynamic-Residual Graph Attention Network 인코더를 개발한다. 배차 하위 문제에 대해서는 경로 오라클이 지도하는 국소 탐색(local search) 기반 배차 휴리스틱을 개발하며, 오라클은 실시간 확장성을 유지하면서 후보 배송 기사를 선택하기 위한 근최적 해를 제공한다. Cainiao Logistics의 실제 데이터셋을 활용한 광범위한 실험을 통해 오프라인 평가와 온라인 롤링 호라이즌(rolling-horizon) 시뮬레이션을 포함하여 접근법의 성능을 검증했다. 실험 결과, 제안 방법은 해 품질과 해결 시간 측면에서 다른 벤치마크를 능가하며, 실시간 대규모 라스트마일 픽업 문제 해결에 물류 기업을 효과적으로 지원할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.