CoMemNet: 교통량 예측을 위한 드리프트 인식 샘플링 기반 지속 메모리 네트워크
CoMemNet: A Continual Memory Network with Drift-Aware Sampling for Traffic Prediction
한국어 초록
교통 센서 네트워크는 센서가 추가되고 교통 분포가 변화함에 따라 진화하지만, 대부분의 예측 모델은 고정된 노드(node) 집합을 가정하고 사용 가능한 모든 데이터에 대해 반복적으로 재학습(retraining)을 수행합니다. 본 논문에서는 진화하는 교통 센서 네트워크에서 효율적인 예측을 수행하기 위한 지속 메모리 네트워크(Continual Memory Network)인 CoMemNet을 제안합니다. CoMemNet은 현재 주기에 적응하기 위한 온라인(Online) 브랜치와 안정적인 특징(feature) 참조 역할을 하는 지수 이동 평균 타깃(Target) 브랜치를 사용합니다. 바서슈타인(Wasserstein) 기반 드리프트 샘플러는 노드별 온라인-타깃 특징 분포를 비교하고 업데이트할 제한된 드리프트 민감 노드 집합을 선택합니다. 또한 경량의 노드 적응형 시간 메모리 재생 버퍼(TMRB-N)는 모든 과거 학습 데이터를 반복해서 순회하지 않고도 압축된 시간 상태를 유지합니다. 예측 백본은 인접 행렬(adjacency matrix)을 직접 사용하지 않으며, 센서 인접성은 데이터를 구성하고 선택된 업데이트 집합을 제한된 이웃으로 선택적으로 확장하는 데에만 사용됩니다. 3개의 다중 주기 PeMS 데이터셋을 대상으로 한 실험에는 3개의 시드 평가, 강력한 정적 재학습 및 지속 학습(continual learning) 베이스라인, 통제된 샘플링 전략, 지속 학습 평가 지표, 강건성 테스트, 자원 사용량 분석이 포함됩니다. 실험 결과는 CoMemNet이 제한된 공유 노드 선택 조건에서도 안정적인 예측 정확도와 효율적인 적응력을 유지하며, 과거 지식 보존과 현재 주기 예측 성능 간에 더 우수한 균형을 달성함을 보여줍니다. 아울러 진화하는 네트워크가 확장됨에 따라 CoMemNet은 현재 주기 재학습 베이스라인 대비 정확도와 누적 학습 시간 측면에서 더욱 뚜렷한 이점을 보입니다. 코드는 https://meiwu5.github.io/CoMemNet 에서 확인할 수 있습니다.
원문 초록
Traffic sensor networks evolve as sensors are added and traffic distributions change, whereas most forecasting models assume a fixed node set and repeatedly retrain on all available data. We propose CoMemNet, a Continual Memory Network for efficient prediction over evolving traffic sensor networks. CoMemNet uses an Online branch to adapt to the current period and an exponential-moving-average Target branch as a stable feature reference. A Wasserstein-based Drift Sampler compares node-wise Online-Target feature distributions and selects a limited set of drift-sensitive nodes for updating. A lightweight Node-Adaptive Temporal Memory Replay Buffer (TMRB-N) retains compact temporal states without repeatedly traversing all historical training data. The prediction backbone does not consume an adjacency matrix; sensor adjacency is used only to construct data and optionally expand the selected update set to a limited neighborhood. Experiments on three multi-period PeMS datasets include three-seed evaluation, strong static retraining and continual baselines, controlled sampling strategies, continual-learning metrics, robustness tests, and resource accounting. The results show that CoMemNet maintains stable prediction accuracy and efficient adaptation under bounded shared-node selection, achieving a better balance between historical knowledge preservation and current-period prediction performance. Meanwhile, as the evolving network expands, CoMemNet shows clearer accuracy and cumulative training-time advantages over current-period retraining baselines. The code is available at:https://meiwu5.github.io/CoMemNet.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ADORN: 강화학습을 활용한 Open RAN의 적응형 드리프트 처리
ADORN: Adaptive Drift handling for Open RAN using Reinforcement Learning
Open 무선 접속망(O-RAN)에서의 동적 트래픽 변동은 드리프트를 유발하여 인공지능/머신러닝(AI/ML) 모델의 성능을 저하시킨다. 전통적인 재학습 방식은 예측 정확도를 유지하지만 높은 계산 비용을 초래하고 서비스 수준 협약(SLA) 위반으로 이어질 수 있다. 본 연구는 재학습 결정을 마르코프 결정 과정(MDP)으로 정식화하는 Q-러닝 기반 적응형 재학습 방식을 제안하며, 강화학습(RL) 에이전트가 예측 정확도와 재학습 비용 간의 균형을 맞추는 정책을 학습한다. 제안된 방식은 파국적 망각(catastrophic forgetting)을 완화하고 다양한 트래픽 조건에서 강인성을 향상시키기 위해 다중 전문가 장단기 기억(LSTM) 앙상블을 통합한다. 실험 결과, 제안된 방식은 미리 정의된 한계 내에서 시스템 성능을 유지하면서 탐욕적(greedy) 및 무작위(random) 기준선 대비 재학습 오버헤드를 효과적으로 줄이는 것으로 나타났다.
AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템
AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.
대규모 교통 예측을 위한 국소 이질성 및 지역 간 컨텍스트 학습
Learning Local Heterogeneity and Cross-Region Context for Large-Scale Traffic Forecasting
교통 흐름 예측은 지능형 교통 시스템에 필수적이다. 대규모 교통 예측은 국소 공간적 의존성과 지역 간 컨텍스트를 공동으로 모델링해야 한다. 지리적으로 인접한 노드 간 공간적 의존성은 도로 유형과 이동 방향의 차이로 인해 이질적이며, 모든 노드 쌍 상호작용을 통해 전역 정보를 획득하는 것은 상당한 계산 비용을 초래한다. 따라서 국소 이질성을 포착하면서 장거리 컨텍스트를 효율적으로 획득하는 것은 대규모 교통 예측에서 여전히 중요한 과제로 남아 있다. 이러한 과제를 해결하기 위해, 우리는 노드 이웃과 도로 네트워크 지역이라는 두 가지 상보적 세분성에서 공간적 의존성을 모델링하는 Local-Region Spatial Temporal(LoReST) 네트워크를 제안한다. 구체적으로, 관계 인지 국소 집계는 도로 및 방향별 특징 변환을 통해 지리적 이웃 내 이질적 의존성을 포착한다. 지역 간 상호작용은 평균 풀링을 통해 지역 표현을 구성하고, 지역 간 어텐션을 통해 장거리 컨텍스트를 교환한 뒤 이를 노드로 다시 전파한다. 국소 정보 집계와 지역 간 상호작용을 통합함으로써 LoReST는 대규모 도로 네트워크에서 공간적 의존성 학습을 효과적으로 수행할 수 있다. LargeST 벤치마크의 네 개 데이터셋에 대한 실험은 MAE, RMSE, MAPE에서 각각 평균 상대 감소율 4.78%, 3.60%, 5.75%를 보여준다.
범용 시계열 예측 모델의 연속 학습을 위한 어텐션 기반 경험 재생 프레임워크
Attention-based Experience Replay Framework for Continual Learning of Agnostic Time Series Forecasting Models
심층 학습은 인공지능, 특히 로봇공학, 영상 처리 및 음향 처리 분야에서 놀라운 발전을 이끌었다. 그러나 신경망의 주요 한계는 여전히 대규모이고 정상(stationary)인 데이터셋에 대한 강한 의존성이다. 많은 실제 응용에서는 데이터 분포가 시간에 따라 변하는 진화적이고 동적인 환경 때문에 이러한 조건을 거의 충족하기 어렵다. 연속 학습(continual learning)은 계산 제약 하에서 안정성(stability)과 가소성(plasticity) 사이의 균형을 유지하면서 점진적으로 적응할 수 있는 모델을 개발함으로써 이 문제를 해결하고자 한다. 본 연구에서는 문헌에서 일반적으로 사용되는 기존 정적 예측 모델을 확장하기 위해 어텐션 메커니즘이 안내하는 경험 재생(Experience Replay) 전략을 통합한, 연속 시계열 예측을 위한 새로운 프레임워크를 제안한다. 이 접근법은 모델이 이전 지식을 보존하면서 새로운 맥락에 동적으로 적응할 수 있게 하여, 치명적 망각(catastrophic forgetting)을 효과적으로 완화한다. 이 프레임워크는 표준 예측 벤치마크뿐만 아니라 다양한 시간적 거동을 보이는 수압 계측(piezometric) 데이터셋에서도 평가되었다. 결과는 우리 접근법이 재학습 비용과 데이터 요구량을 줄이면서 시간에 따른 예측 성능을 효과적으로 향상시키거나 유지함을 보여주며, 이를 통해 동적이고 실제 환경에서 예측 모델의 배포를 용이하게 한다.
STKAN: 시공간 예측을 위한 Kolmogorov-Arnold Networks
STKAN: Kolmogorov-Arnold Networks for Spatio-Temporal Forecasting
실제 교통 데이터는 이질적인 공간 상관관계와 비선형 시간 역학을 보이며, 정확한 시공간 예측에 상당한 어려움을 초래한다. 기존 접근법들은 점점 더 정교한 그래프, 어텐션, 분해(decomposition) 아키텍처를 발전시켜 왔지만, 기반 비선형 함수 근사기의 영향은 상대적으로 덜 주목받아 왔다. 본 연구에서는 공간 및 시간 토큰 혼합에 Taylor 다항식 Kolmogorov-Arnold Network 모듈을 도입한 시공간 예측 아키텍처인 STKAN을 제안한다. STKAN은 먼저 학습 가능한 소프트 노드-그룹 할당 메커니즘을 통해 고수준 공간 표현을 구성하고, 그룹별 공간 혼합을 적용한 뒤 압축된 시퀀스에 대한 시간적 의존성을 모델링한다. 장거리 상호작용을 포착하기 위해 공간 및 시간 자기 어텐션(self-attention) 레이어도 추가로 사용한다. 5개의 교통 예측 벤치마크에 대한 실험에서 STKAN은 경쟁력 있는 성능을 달성하며, 테스트된 설정에서 평가된 MLP 기반 변형보다 우수한 성능을 보인다. 이러한 결과는 시공간 예측에서 비선형 함수 근사기 설계가 아키텍처 설계에 대한 유용한 보완이 될 수 있음을 시사한다.
EMAGN: 학습된 클러스터링을 통한 확장 가능한 교통량 예측을 위한 효율적 다중-어텐션 그래프 네트워크
EMAGN: Efficient Multi-Attention Graph Network via Learned Clustering for Scalable Traffic Forecasting
교통량 예측은 복잡하고 비선형적인 공간적·시간적 의존성으로 인해 매우 어려운 문제이다. 셀프-어텐션(self-attention) 메커니즘은 동적이고 장거리 의존성을 모델링하는 데 널리 채택되어 최첨단 성능을 달성해 왔지만, 이차(quadratic) 계산 및 메모리 복잡도로 인해 확장성이 제한된다. 이를 해결하기 위해, 빠른 고차원 가우시안 필터링 이론에서 영감을 받아 공간적 어텐션 메커니즘 자체를 선형화하는 효율적 다중-어텐션 그래프 네트워크(EMAGN)를 제안한다. 두 개의 학습된 클러스터링 행렬 C_k와 C_v가 키(key) 및 밸류(value) 벡터를 M개의 슈퍼-클러스터(super-cluster)로 적응적으로 묶어, 동적 의존성 모델링을 위한 어텐션의 유연성을 희생하지 않으면서 복잡도를 O(N^2 d)에서 O(NMd)로 줄인다. PEMS-BAY와 METR-LA에 대한 실험 결과, EMAGN은 전체-어텐션(full-attention) GMAN 대비 MAE 2.7–3.2% 이내의 정확도를 달성하면서 학습 시간을 32%, 추론 시간을 38%, GPU 메모리를 58% 줄인다. 특히 K=16 어텐션 헤드(attention head)에서 전체-어텐션 GMAN은 표준 11GB GPU에서 완전히 메모리가 부족해지지만 EMAGN은 계속 동작하며, 이는 실행 가능한 모델 구성의 질적 확장을 보여준다. EMAGN은 교통 네트워크 인식(traffic-network-aware) 적응형 클러스터링 덕분에 동일 백본(backbone) 내에서 Linformer와 Performer를 정확도와 효율성 모두에서 능가한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted by IEEE Transactions on Computational Social Systems (TCSS)