Interpretable mixture of experts for time series prediction under recurrent and non-recurrent conditions
원문 초록
Non-recurrent conditions caused by incidents are different from recurrent conditions that follow periodic patterns. Existing traffic speed prediction studies are incident-agnostic and use one single model to learn all possible patterns from these drastically diverse conditions. This study proposes a novel Mixture of Experts (MoE) model to improve traffic speed prediction under two separate conditions, recurrent and non-recurrent (i.e., with and without incidents). The MoE leverages separate recurrent and non-recurrent expert models (Temporal Fusion Transformers) to capture the distinct patterns of each traffic condition. Additionally, we propose a training pipeline for non-recurrent models to remedy the limited data issues. To train our model, multi-source datasets, including traffic speed, incident reports, and weather data, are integrated and processed to be informative features. Evaluations on a real road network demonstrate that the MoE achieves lower errors compared to other benchmark algorithms. The model predictions are interpreted in terms of temporal dependencies and variable importance in each condition separately to shed light on the differences between recurrent and non-recurrent conditions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OpenTSLM TeeMoE: 시계열 예측, 문맥 조건부 예측 및 추론을 위한 통합 시계열 언어 모델
OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning
실제 환경의 시계열 애플리케이션에서는 시계열 예측, 문맥 조건부 예측, 그리고 언어 기반의 시간적 추론을 모두 처리할 수 있는 모델이 점점 더 많이 요구되고 있습니다. 그러나 현재의 시계열 파운데이션 모델들은 이러한 역량 전반에 걸쳐 여전히 파편화되어 있습니다. 수치 특화 모델은 흔히 가장 강력한 예측 성능을 제공하는 반면, 언어 기반 모델은 더 넓은 문맥 이해와 분석 기능을 제공합니다. 핵심 과제는 이러한 이종의 역량들을 각각의 성능 저하 없이 하나로 통합하는 것입니다. 본 논문에서는 관측된 시계열로부터 직접 예측을 수행하고, 텍스트 문맥과 시간적 패턴에 걸쳐 추론하며, 외부 수치 예측 전문 모델들의 예측값을 종합 및 정제할 수 있는 범용 시계열 언어 모델인 OpenTSLM TeeMoE를 소개합니다. 우리는 공유 백본 상에서 예측 종합, 자체 예측, 시간적 분석을 위한 세 개의 저순위(low-rank) 전문가를 독립적으로 학습합니다. 그런 다음 학습된 LoRA 전문가 혼합(MoE) 컨트롤러가 각 요청에 대해 고정된 이들의 매개변수 업데이트에 가중치를 부여합니다. 제안된 모델은 시계열 예측, 문맥 조건부 예측, 언어 기반 시간적 추론 분야의 널리 사용되는 벤치마크에서 우수한 성능을 달성하여, 평균 MASE 순위 기준 GIFT-Eval, RCRPS 기준 Context is Key, 정확도 기준 TimeSeriesExam에서 상위 3위 이내에 올랐습니다.
스칼라에서 시계열로: 시간 변화 볼륨 데이터를 위한 암시적 신경 표현 재검토
From Scalars to Time Series: Rethinking Implicit Neural Representations for Time-Varying Volumetric Data
시간에 따라 변하는 볼륨 데이터에 대한 암시적 신경 표현(INR)은 일반적으로 시공간 좌표에 대한 밀집 샘플링을 사용하여 학습되며, 각 관측값은 공간과 시간의 단일 지점에 해당한다. 이러한 좌표별 공식화는 최적화 과정에서 광범위한 샘플링을 요구하여 높은 계산 비용과 시간 구조의 비효율적 활용으로 이어진다. 본 연구에서는 이러한 설계 선택을 재검토하고, 시간 변화 필드를 학습하는 데 밀집 시공간 샘플링이 필수적이지 않음을 보인다. 대신 데이터를 공간 인덱스가 부여된 시계열의 집합으로 표현하고, 좌표별 스칼라 샘플 대신 각 공간 위치에 대해 시퀀스 수준 감독을 사용하여 INR을 학습한다. 이 재공식화는 밀집 시공간 샘플링의 필요성을 제거하고, 대신 각 공간 위치를 그 전체 시간적 진화로부터 구조적으로 학습한다. 우리는 이 표현이 다양한 기존 INR 아키텍처와 호환되며, 학습 비용을 크게 줄이면서도 재구성 품질을 일관되게 향상시킴을 보여준다. 또한 이 공식화를 전문가 혼합(MoE) 아키텍처와 결합할 수 있음을 보이며, 우리의 MoE 구현은 기본 재공식화와 기존 MoE 기반 INR 방법 모두에 비해 재구성 품질을 더욱 향상시켜, 이질적인 시간 역학 하에서 더 강력한 용량 할당을 제공한다.
VLT: 산업 지능을 위한 비전-언어-시계열 다중모달 파운데이션 모델
VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence
산업 시계열은 항공 엔진과 같은 산업 장비의 신뢰성과 안전성을 보장하기 위한 예지 및 건강 관리(PHM)의 기반이 된다. 그러나 기존 접근법은 일반적으로 단일 모달리티 모델링에 한정되어 복잡한 시나리오에서의 일반화를 제한한다. 최근 대규모 언어 모델(LLM)의 발전이 다중모달 학습에 새로운 기회를 제공하지만, 연속적인 시계열 신호와 이산적인 텍스트 의미를 연결하는 것은 여전히 열린 과제로 남아 있다. 이를 위해 우리는 시계열, 주파수 스펙트럼 시각 표현, 텍스트 지식을 공동으로 모델링하는 다중모달 파운데이션 모델 VLT를 제안한다. 핵심 통찰은 연속적인 시간 신호와 이산적인 의미를 연결하기 위해 주파수 스펙트럼을 시각적 가교로 활용하는 것이다. 구체적으로, 이질적인 시간 역학을 포착하기 위해 시간 인식 전문가 혼합(Time-MoE)을 설계하고, Frequency-Text Augmented Learner는 공유 표현 공간 내에서 스펙트럼 및 의미 특징의 공동 모델링을 가능하게 한다. 또한 시간 중심 그래디언트 정렬 메커니즘을 도입하여 그래디언트 정규화와 신뢰성 인식 동적 재가중치를 통해 교차 모달 최적화 충돌을 완화한다. 다양한 산업 데이터셋에 대한 광범위한 실험에서 VLT가 최신(state-of-the-art) 방법들을 능가하며, 퓨샷(few-shot), 노이즈, 불완전 모달리티 설정에서 우수한 견고성과 일반화를 달성함을 보여준다.
IndMask: Inductive Explanation for Multivariate Time Series Black-Box Models
Trainable Fractional Fourier Transform
Robust Online Time Series Prediction with Recurrent Neural Networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.