Over the past decade, multivariate time series classification has received great attention. We propose transforming the existing univariate time series classification models, the Long Short Term Memory Fully Convolutional Network (LSTM-FCN) and Attention LSTM-FCN (ALSTM-FCN), into a multivariate time series classification model by augmenting the fully convolutional block with a squeeze-and-excitation block to further improve accuracy. Our proposed models outperform most state-of-the-art models while requiring minimum preprocessing. The proposed models work efficiently on various complex multivariate time series classification tasks such as activity recognition or action recognition. Furthermore, the proposed models are highly efficient at test time and small enough to deploy on memory constrained systems.
Multivariate time series (MTS) arise when multiple interconnected sensors record data over time. Dealing with this high-dimensional data is challenging for every classifier for at least two aspects: First, an MTS is not only characterized by individual feature values, but also by the interplay of features in different dimensions. Second, this typically adds large amounts of irrelevant data and noise. We present our novel MTS classifier WEASEL+MUSE which addresses both challenges. WEASEL+MUSE builds a multivariate feature vector, first using a sliding-window approach applied to each dimension of the MTS, then extracts discrete features per window and dimension. The feature vector is subsequently fed through feature selection, removing non-discriminative features, and analysed by a machine learning classifier. The novelty of WEASEL+MUSE lies in its specific way of extracting and filtering multivariate features from MTS by encoding context information into each feature. Still the resulting feature set is small, yet very discriminative and useful for MTS classification. Based on a popular benchmark of 20 MTS datasets, we found that WEASEL+MUSE is among the most accurate classifiers, when compared to the state of the art. The outstanding robustness of WEASEL+MUSE is further confirmed based on motion gesture recognition data, where it out-of-the-box achieved similar accuracies as domain-specific methods.
시계열 분류에 현대 기계학습을 성공적으로 적용하는 일은 종종 사용 가능한 학습 데이터의 품질과 양의 한계로 인해 어려움을 겪는다. 이러한 한계를 극복하기 위해, 매개변수화된 기계론적(mechanistic) 동역학 모델 형태의 영역 지식을 활용할 수 있으며, 시계열 관측을 미리 정의된 동역학 시스템 클래스의 사례로 표현할 수 있다. 동역학 모델이 영역별 변수와 그 역학적 상호작용 측면에서 해석 가능하다면 학습 과정 역시 해석 가능해지고, 모델러는 희소하고 불규칙하게 샘플링된 데이터를 자연스럽게 다룰 수 있다. 그러나 동역학 모델의 내부 과정은 종종 부분적으로만 관측된다. 이로 인해 주어진 시계열 관측을 가장 잘 설명하는 특정 모델 실현(realization)이 무엇인지에 대한 모호성이 생길 수 있다. 이 문제는 문헌에서 잘 알려져 있으며, 이러한 문제를 갖는 동역학 모델은 구조적으로 식별 불가능(structurally unidentifiable)하다고 부른다. 구조적으로 식별 불가능한 동역학 모델에 대한 지식을 무시한 채 분류기를 학습하면 분류 성능에 부정적인 영향을 줄 수 있다. 이 문제를 해결하기 위해 구조적 식별 가능성(structural identifiability) 분석을 사용하여 동일한 시스템 출력과 연관된 매개변수 구성을 명시적으로 연관 짓는다. 분류기 학습에 이렇게 도출된 관계를 사용하면, 생의학(biomedical) 영역의 여러 예제 모델에서 이 방법이 분류기가 보지 못한 데이터에 일반화하는 능력을 크게 향상시킴을 보인다. 이 효과는 학습 인스턴스 수가 제한적일 때 특히 두드러진다. 우리 결과는 기계학습 커뮤니티가 상대적으로 적은 관심을 기울여 온 주제인 구조적 식별 가능성의 중요성을 보여준다.
While foundation models have revolutionized various domains, their application to time series classification remains rather under-explored, with existing literature predominantly focused on forecasting. To bridge this gap, we introduce \textbf{Mantis}, a transformer-based foundation model pre-trained exclusively on synthetic data via self-supervised contrastive learning. We demonstrate that effective tokenization is critical to unlocking the full potential of transformers, proposing a novel token generator unit. Furthermore, we introduce an enhanced test-time methodology that bridges the performance gap between Mantis and strong specialized approaches by leveraging intermediate-layer representations, self-ensembling, and cross-model embedding fusion. Extensive experiments demonstrate that Mantis establishes a new state-of-the-art, outperforming existing foundation models across four diverse dataset collections covering various application domains.