A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case
원문 초록
In recent times, Large Language Models (LLMs) have captured a global spotlight and revolutionized the field of Natural Language Processing. One of the factors attributed to the effectiveness of LLMs is the model architecture used for training, transformers. Transformer models excel at capturing contextual features in sequential data since time series data are sequential, transformer models can be leveraged for more efficient time series data prediction. The field of prognostics is vital to system health management and proper maintenance planning. A reliable estimation of the remaining useful life (RUL) of machines holds the potential for substantial cost savings. This includes avoiding abrupt machine failures, maximizing equipment usage, and serving as a decision support system (DSS). This work proposed an encoder-transformer architecture-based framework for multivariate time series prediction for a prognostics use case. We validated the effectiveness of the proposed framework on all four sets of the C-MAPPS benchmark dataset for the remaining useful life prediction task. To effectively transfer the knowledge and application of transformers from the natural language domain to time series, three model-specific experiments were conducted. Also, to enable the model awareness of the initial stages of the machine life and its degradation path, a novel expanding window method was proposed for the first time in this work, it was compared with the sliding window method, and it led to a large improvement in the performance of the encoder transformer model. Finally, the performance of the proposed encoder-transformer model was evaluated on the test dataset and compared with the results from 13 other state-of-the-art (SOTA) models in the literature and it outperformed them all with an average performance increase of 137.65% over the next best model across all the datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IndMask: Inductive Explanation for Multivariate Time Series Black-Box Models
Trainable Fractional Fourier Transform
Robust Online Time Series Prediction with Recurrent Neural Networks
A Better Alternative to Piecewise Linear Time Series Segmentation
ECGGuard: 오류 정정 부호를 활용한 심전도 신호의 딥러닝 워터마킹
ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting Codes
웨어러블 심전도(ECG) 기록은 자동 판독에 이르기 전에 여러 네트워크와 시스템을 거치므로 환자 메타데이터가 유실되기 쉽다. 디지털 워터마킹은 이 메타데이터를 신호에 삽입할 수 있으나, 기존 방법은 시간 이동에 취약하며 파형 유사도가 높다고 해서 하류 진단이 동일하게 유지되는 것은 아니다. 본 논문은 단일 리드 ECG를 위한 딥러닝 워터마킹 프레임워크인 \rev{ECGGuard}를 제안한다. 완전 합성곱 생성기는 신호 양자화 없이 페이로드를 삽입하고, 검출기는 프레임 단위로 메시지를 복호화하며 워터마크의 존재 여부를 확인한다. 학습 중에는 고정된 부정맥 분류기가 자신의 예측을 바꾸는 변화를 억제하도록 페널티를 부과한다. 높은 비트 정확도가 전체 메시지의 복원을 보장하지 않으므로, 페이로드는 확장 해밍 부호, \rev{검증 데이터로 선택한 채널 순서}, 그리고 소프트 결정 복호화로 보호된다. MIT-BIH 부정맥 데이터베이스에서 \rev{세 번의 학습 실행을 평균했을 때 ECGGuard}는 10~50 샘플의 시간 이동에서도 비트 정확도를 \rev{98\%} 이상으로 유지하는 반면, 변환 영역 기반 기준 방법은 무작위 수준으로 떨어진다. 부호화된 16비트 페이로드는 깨끗한 구간의 \rev{99.95\%}에서 정확히 복원되며\rev{, 시간 이동, 10\% 샘플 삭제 또는 10\% 패킷 손실 조건에서도 96\% 이상}, \rev{처음 보는 피험자에 대해서는 99.1\%}에서 복원된다. \rev{가이드 역할을 하는 분류기에 대해, 진단 손실은 테스트 기록에서 심실 박동 민감도의 하락을 1.6 퍼센트포인트로 제한하고(이를 사용하지 않으면 35.0), 처음 보는 피험자에서는 12.2 포인트로 제한한다(사용하지 않으면 67.0). 독립적으로 학습된 분류기에서는 하락이 10.3 포인트로 커지며, 이 보호 효과는 외부 데이터베이스로는 전이되지 않는다.} \rev{ECGGuard}는 0.56백만 개의 파라미터를 가지며 데스크톱 CPU에서 구간당 약 \rev{19}~ms가 소요된다.
연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성
Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts
시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.