arXiv:2606.11990v1 cs.LG

잔여 유효 수명 추정을 위한 시계열 파운데이션 모델 임베딩

Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

Amir El-Ghoussani, Michele De Vita, Ronald Naumann, Valiseios Belagiannis

제출 2026-06-10

한국어 초록

잔여 유효 수명(RUL) 예측은 산업 예측 정비에 필수적이지만, 많은 학습 기반 접근법은 광범위한 특징 공학이나 대규모 라벨 데이터셋에 의존하여 과제별 시퀀스 모델을 학습한다. 본 연구에서는 동결된 사전학습 시계열 파운데이션 모델(TSFM)을 활용하고, 다변량 센서 스트림으로부터 RUL을 추정하기 위해 소형 회귀 헤드와 결합하는 경량 학습 접근법을 제안한다. 보다 구체적으로, Chronos-2를 동결 백본으로 사용하여 컨텍스트 윈도우 특징을 추출하고, RUL 예측을 위한 경량 회귀 신경망을 학습한다. 두 가지 장치 유형의 실제 산업 센서 데이터에 대한 실험 결과, 동일한 전처리 및 평가 프로토콜 하에서 Chronos-2 특징이 순환, 합성곱, 트랜스포머 기반, 그래디언트 부스팅 베이스라인보다 일관되게 성능이 향상됨을 보여준다. 또한 컨텍스트 길이의 영향을 분석한 결과, 더 긴 이력에서 성능이 크게 향상됨을 확인하였으며, 이는 TSFM 표현이 산업 환경에서 RUL 추정을 위한 실용적이고 데이터 효율적인 대안을 제공함을 시사한다.

원문 초록

Remaining Useful Life (RUL) prediction is essential for industrial predictive maintenance, yet many learning-based approaches rely on extensive feature engineering or large labeled datasets to train task-specific sequence models. In this work, we introduce a lightweight learning approach, in which we leverage a frozen pretrained time-series foundation model (TSFM) and combine it with a small regression head for RUL estimation from multivariate sensor streams. More specifically, we use Chronos-2 as a frozen backbone to extract context window features and train a lightweight regression neural network for RUL prediction. Experiments on real-world industrial sensor data from two device types show that Chronos-2 features consistently improve over recurrent, convolutional, Transformer-based, and gradient-boosting baselines under the same preprocessing and evaluation protocol. We further analyze the impact of context length and find that performance improves significantly with longer histories, indicating that TSFM representation offer a practical and data-efficient alternative for RUL estimation in industrial settings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11990v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15760v1cs.LG공통 태그 Time Series, Time Series Forecasting

학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측

Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics

다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.

arXiv:2610.10697v1quant-ph공통 태그 Time Series, Time Series Forecasting

양자 혼돈 역학을 위한 머신러닝에서의 선형성 또는 비선형성에 대하여

On linearity or non-linearity in machine learning for quantum chaotic dynamics

시간 진화 동안 엔탱글먼트(entanglement, 양자 얽힘)가 급격히 축적되고 공간적으로 확산되기 때문에, 혼돈 양자 다체 역학(chaotic quantum many-body dynamics)을 정확하게 시뮬레이션하는 것은 고전적 계산 방식에 여전히 주요한 난제로 남아 있습니다. 이는 머신러닝이 양자 역학을 예측하기 위한 효과적인 대안을 제공할 수 있는지에 대한 의문을 제기합니다. 본 연구에서는 리드버그 원자 배열(Rydberg-atom arrays)로 구현 가능한 소수 큐비트 PXP 체인을 벤치마크로 사용하여, 양자 역학을 시계열 예측 문제로 정식화함으로써 이 질문을 다룹니다. 초기 상태를 변화시킴으로써 시스템은 에르고딕(ergodic) 거동부터 양자 다체 흉터 형성(quantum many-body scarring)에 이르는 동역학적 영역을 포괄하며, 질적으로 서로 다른 동역학 전반에 걸쳐 예측 모델을 테스트할 수 있는 제어된 환경을 제공합니다. 저자들은 표현력이 풍부한 비선형 트랜스포머(Transformer)와 단순 선형 예측 모델인 DLinear라는 대조적인 두 아키텍처를 비교합니다. 트랜스포머는 보다 에르고딕한 영역에서 역학을 정확하게 예측하지만, 초기 상태가 흉터 한계(scarred limit)에 가까워질수록 성능이 점진적으로 저하됩니다. 반면 DLinear는 전체 초기 상태 계열 전반에서 높은 정확도를 유지하며, 주요 편차는 전체 예측 오차에 거의 영향을 미치지 않는 작은 고주파 진동으로만 구성됩니다. 놀랍게도 이러한 결과는 복잡한 양자 다체 역학에 의해 생성된 관측 가능량을 과거 관측값에서 미래 관측값으로의 단순한 선형 매핑만으로도 높은 정확도로 예측할 수 있음을 보여줍니다. 이는 기저에 있는 양자 진화의 복잡성이 반드시 동일하게 복잡한 예측 문제로 귀결될 필요는 없음을 시사합니다.

arXiv:2610.10727v1q-fin.CP공통 태그 Time Series, Time Series Forecasting

중고 전자기기의 다중 시계열 가격 예측을 위한 심층 학습 대 통계 모델: 체계적 벤치마크

Deep Learning vs. Statistical Models for Multi-Horizon Price Forecasting of Second-Hand Electronics: A Systematic Benchmark

중고 전자기기의 재판매 가격 예측은 가격 책정 오류가 곧바로 위험으로 이어지는 구독 기반 플랫폼에 매우 중요합니다. 구조화된 금융 시장과 달리 중고 전자기기는 높은 변동성, 희소한 매물 등록 이력, 비정규 가격 역학을 보이지만, 이 영역에 대한 체계적인 시계열 벤치마크(benchmark)는 존재하지 않습니다. 본 논문에서는 중고 전자기기 가격 예측을 위한 통계 및 심층 학습(deep learning) 예측 모델의 첫 다중 시계열(multi-horizon) 벤치마크를 제시합니다. 폴란드 온라인 마켓플레이스의 일별 가격 매물 대규모 데이터셋(2022년 1월부터 2025년 3월까지, 100개 이상의 스마트폰 및 노트북 모델)을 사용하며, 고전적 기법(ARIMA, ETS, Theta), 순환 및 합성곱 네트워크(LSTM, TCN), 현대 심층 아키텍처(N-BEATS, N-HiTS, TFT, PatchTST, Informer)를 포괄하는 11개 모델을 1일부터 365일까지 6개 예측 구간(horizon)에 걸쳐 평가합니다. 세 가지 상호보완적 평가 프로토콜은 궤적 적합도, 단발성(one-shot) 종단점 정확도, 시계열 간 전이(cross-horizon transfer)를 측정합니다. N-BEATS는 30일 이후에서 가장 낮은 MAPE를 달성하여 365일에서 8.51%에 도달했으며, 이는 최고 성능 통계 기준선(baseline)의 14.94% 대비 43% 감소한 수치입니다. 단기 예측 구간(1-7일)에서는 모든 모델이 약 0.72% MAPE로 수렴하며 나이브 기준선도 경쟁력을 유지합니다. 365일 기준으로 학습된 단일 N-BEATS 모델은 더 짧은 모든 예측 구간으로 일반화되어 구간별 맞춤형 모델의 필요성을 없앱니다. 또한 N-BEATS와 N-HiTS는 뛰어난 하이퍼파라미터 안정성을 보여줍니다.

arXiv:2609.40265v2cs.LG공통 태그 Time Series, Time Series Forecasting

OpenTSLM TeeMoE: 시계열 예측, 문맥 조건부 예측 및 추론을 위한 통합 시계열 언어 모델

OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning

실제 환경의 시계열 애플리케이션에서는 시계열 예측, 문맥 조건부 예측, 그리고 언어 기반의 시간적 추론을 모두 처리할 수 있는 모델이 점점 더 많이 요구되고 있습니다. 그러나 현재의 시계열 파운데이션 모델들은 이러한 역량 전반에 걸쳐 여전히 파편화되어 있습니다. 수치 특화 모델은 흔히 가장 강력한 예측 성능을 제공하는 반면, 언어 기반 모델은 더 넓은 문맥 이해와 분석 기능을 제공합니다. 핵심 과제는 이러한 이종의 역량들을 각각의 성능 저하 없이 하나로 통합하는 것입니다. 본 논문에서는 관측된 시계열로부터 직접 예측을 수행하고, 텍스트 문맥과 시간적 패턴에 걸쳐 추론하며, 외부 수치 예측 전문 모델들의 예측값을 종합 및 정제할 수 있는 범용 시계열 언어 모델인 OpenTSLM TeeMoE를 소개합니다. 우리는 공유 백본 상에서 예측 종합, 자체 예측, 시간적 분석을 위한 세 개의 저순위(low-rank) 전문가를 독립적으로 학습합니다. 그런 다음 학습된 LoRA 전문가 혼합(MoE) 컨트롤러가 각 요청에 대해 고정된 이들의 매개변수 업데이트에 가중치를 부여합니다. 제안된 모델은 시계열 예측, 문맥 조건부 예측, 언어 기반 시간적 추론 분야의 널리 사용되는 벤치마크에서 우수한 성능을 달성하여, 평균 MASE 순위 기준 GIFT-Eval, RCRPS 기준 Context is Key, 정확도 기준 TimeSeriesExam에서 상위 3위 이내에 올랐습니다.

arXiv:2610.02497v1cs.LG공통 태그 Representation Learning, Time Series

LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델

LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing

근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.