tsrobprep - an R package for robust preprocessing of time series data
원문 초록
Data cleaning is a crucial part of every data analysis exercise. Yet, the currently available R packages do not provide fast and robust methods for cleaning and preparation of time series data. The open source package tsrobprep introduces efficient methods for handling missing values and outliers using model based approaches. For data imputation a probabilistic replacement model is proposed, which may consist of autoregressive components and external inputs. For outlier detection a clustering algorithm based on finite mixture modelling is introduced, which considers time series properties in terms of the gradient and the underlying seasonality as features. The procedure allows to return a probability for each observation being outlying data as well as a specific cause for an outlier assignment in terms of the provided feature space. The methods work robust and are fully tunable. Moreover, by providing the auto_data_cleaning function the data preprocessing can be carried out in one cast, without comprehensive tuning and providing suitable results. The primary motivation of the package is the preprocessing of energy system data. We present application for electricity load, wind and solar power data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mind the gap: an experimental evaluation of imputation of missing values techniques in time series
DiaSeg: 해석 가능한 보행 분석을 위한 DTW 경로에서의 대각 세그먼트 추출
DiaSeg: Diagonal Segment Extraction from DTW Paths for Interpretable Gait Analysis
동적 시간 워핑(Dynamic Time Warping, DTW)은 시계열 간 유사도를 측정하는 데 지배적으로 사용되는 방법이지만, 표준적인 방식은 단일 거리 값을 계산한 후 최적 워핑 경로를 폐기함으로써 임상 진단과 가장 관련이 깊은 지역적 정렬 정보를 잃는다. 본 논문은 제어된 단절을 허용하며 DTW 경로에서 대각 세그먼트를 추출하는 프레임워크인 DiaSeg를 소개한다. DiaSeg는 각 세그먼트를 다섯 가지 기하학적 특징(유효 길이, 단절 횟수, 비용 변동, 시간적 위치, 경로 맥락)으로 특성화하며, 도메인 특화 특징 공학(feature engineering) 없이 비지도 패턴 발견을 가능하게 한다. 6가지 임상 상태(건강한 노화, 파킨슨병, 헌팅턴병, 근위축성 측삭경화증(ALS), 뇌종양, 뇌졸중)에 걸친 91명의 피험자를 대상으로 검증한 결과, 세 가지 결과가 도출되었다. 첫째, 대각 세그먼트는 생체역학적 단계 주석과 일치하는 일관된 비지도 패턴을 형성하며(실루엣 계수 0.33), 레이블 기반 검증을 통해 건강한 보행과 병리적 보행 간 거의 완벽한 분리를 확인하였다(조정 랜드 지수(ARI) 최대 0.986). 둘째, 세그먼트는 지도 학습에서 69%, 환자 수준 클러스터링에서 75%의 정확도로 병리를 구분하며, 병리는 세그먼트 길이의 분포적 변화를 통해 나타난다. 세그먼트 특징과 주기(cycle) 수준 특징을 결합하면 분류(classification) 정확도가 91.7%까지 향상된다. 셋째, 주기 기반 방법이 더 높은 정확도(91%)를 달성하지만, 대각 세그먼트는 전역적 표현으로는 얻을 수 없는 단계별 해석 가능성을 제공하여 보행 주기 내에서 협응이 무너지는 위치를 국소화할 수 있다. 이처럼 DiaSeg는 DTW를 블랙박스 거리 척도에서 신경퇴행성 질환 평가를 위한 해석 가능한 시간적 특징의 원천으로 전환한다.
SeT-Diff: HPC 텔레메트리 및 시계열을 위한 의미 기반 파운데이션 모델
SeT-Diff: Towards Semantic Foundation Models for HPC Telemetry and Time-Series
데이터센터와 그 컴퓨트 노드는 워크로드, 환경 매개변수, 물리적 지표 간의 복잡한 상호작용을 모델링할 수 있는 정확하고 유연한 디지털 트윈이 필요하다. 현재 HPC 및 그 텔레메트리를 위한 머신러닝 접근법은 일반적으로 단일 작업에 맞춰진 익명의 고정 위치 센서 변수의 정적 부분집합에 의존한다. 결과적으로, 목표 작업이 변경되거나 센서 지표가 달라지면 이러한 모델은 더 이상 유효하지 않게 된다. 우리는 컴퓨트 노드 텔레메트리 및 시계열을 위한 최초의 파운데이션 모델인 SeT-Diff를 제안한다. 경직된 아키텍처와 달리, 우리의 확산(diffusion) 기반 접근법은 각 센서의 의미적 설명에 생성 과정을 조건화하여 시스템 역학을 데이터셋의 구조로부터 분리한다. 실제 슈퍼컴퓨터 데이터셋에 대한 실험은 재구성 작업에서 평균 절대 오차(MAE) 0.0470을 보여준다. SeT-Diff는 제로샷(zero-shot) 순열 안정성을 보이며, 센서 순서가 섞여도 정확도를 미미한 저하만으로 유지한다. 단일 사전학습 모델이 데이터 보간(imputation), 예측(forecasting), 가상 센싱(virtual sensing)을 효과적으로 수행하며 — 열 추론에서 0.033 MAE를 달성 — SeT-Diff를 HPC 시스템을 위한 효과적인 데이터 기반 디지털 트윈으로 만든다.
bag-of-waves를 이용한 해석 가능한 EEG 바이오마커: 저데이터 환경을 위한 공간·시간 파형 사전
Interpretable EEG biomarkers with bag-of-waves: Spatial and temporal waveform dictionaries for low-data regimes
EEG(전기뇌파)는 신경학적 질환 진단에 널리 사용되지만, 그 분석은 보통 사전 정의된 스펙트럼 특징이나 심층 신경망에 의존한다. 사전 정의된 특징은 정보적 가치가 있는 것을 미리 고정하기 때문에 강한 바이어스를 수반하며, 심층 신경망과 파운데이션 모델은 해석하기 어렵고 대량의 데이터와 연산 자원이 필요하다. 우리는 bag-of-waves를 제안한다. 이는 레이블 없이 shift-invariant k-means를 사용하여 반복되는 EEG 파형 템플릿(atom이라고 함)의 작은 사전을 학습하는 해석 가능한 프레임워크이다. 연속 EEG 신호는 atom 토큰의 시퀀스로 변환되며, 그 토큰의 빈도는 간단한 하류 분류기 또는 클러스터링 단계에 입력된다. 이 표현을 두 가지 방식으로 확장한다: 시간적 구조를 포착하기 위해 atom 간 전이(n-gram이라고 부름)를 추가하고, 다채널 경우를 위해 단일 채널 atom에서 지역 및 채널 간 공간 atom으로 확장한다. 세 가지 상호 보완적인 데이터셋에서 방법을 검증한다. 각 데이터셋은 서로 다른 측면을 탐구한다: 동물 16마리만으로 수행한 단일 채널 마우스 유전형 클러스터링(저데이터 및 시간적 사례), 휴식 상태 치매 분류(공간적 사례), 그리고 임상 EEG 이벤트의 6분류를 위한 TUEV 벤치마크(강력한 심층 및 파운데이션 기준선과의 고데이터 비교). 세 데이터셋 모두에서 bag-of-waves는 최첨단 심층 및 파운데이션 모델과 경쟁력 있는 성능을 달성한다. 그러나 매개변수 수의 극히 일부만으로 동작하며 완전한 해석 가능성을 제공한다. 모든 atom이 검사 가능한 파형에 대응하기 때문에, 이 방법은 신경생리학자가 직접 검증할 수 있는 알려진 임상 형태학을 명시적으로 복원한다. 주요 장점은 더 무거운 모델이 적합하지 않은 저데이터 환경에서도 잘 작동한다는 점이다.
수문 시계열 확률적 보간 및 예측을 위한 트랜스포머 기반 확산 모델
Transformer-based Diffusion models for Hydrological Time Series Probabilistic Imputation and Forecasting
관측이 제한된 수문기상 시계열 모델링은 수계 시스템 및 수자원 모니터링, 또한 홍수나 가뭄 위험 평가에서 핵심 과제이다. 기본 프로세스의 높은 변동성과 가용 측정값의 희소성으로 인해, 전통적인 통계적 접근법은 종종 그 역학을 정확히 표현하는 데 어려움을 겪는다. 이러한 맥락에서, 심층 학습의 최근 발전은 여러 관측 지점에서 샘플링된 복잡한 시간적 프로세스의 표현과 생성을 개선할 유망한 방향을 제공한다. 본 연구는 수문학적 시계열의 시뮬레이션 및 재구성에 트랜스포머 기반 확산 모델의 적용을 조사한다. 제안된 프레임워크는 북동부 프랑스의 석회암 고원에 위치하며 숲과 경작지로 덮인 세 인접 상류 유역에 분포한 여섯 지점에서 수량과 수질의 공동 모델링에 적용된다. 해당 모델은 15년 이상 LNE 계량학 전문성과 Andra의 월별 품질 관리 협력을 통해 품질 관리되었고 센서 드리프트 및 고장이 보정된 가용 관측 데이터를 사용하여 보정 및 검증된다. 그 성능은 시계열 모델링에 일반적으로 사용되는 여러 확립된 기준선 접근법과 비교된다. 정량적 평가 지표를 사용하여 두 가지 설정—불완전한 시계열의 보간(imputation)과 향후 수문학적 조건의 예측(forecasting)—에서 제안 방법이 관측 신호의 핵심 시간적 특성을 재현하는 능력을 평가한다. 결과는 트랜스포머 기반 접근법의 효과를 뒷받침하며 수문학적 데이터에 존재하는 복잡한 패턴을 포착하고 시뮬레이션하는 능력을 강조한다. 특히 결과는 확산 모델이 예측과 보간 모두에서 가변적인 결측 데이터를 갖는 관측 설정 하에서 현실적인 시계열 분포를 효율적으로 샘플링할 수 있음을 나타낸다.
RadioTrace: 배포 시점 미세조정 없는 송신기 인식 확산 기반 라디오 맵 추정
RadioTrace: Transmitter-Aware Diffusion for Radio Map Estimation without Deployment-Time Fine-Tuning
라디오 맵(RM) 추정은 희소 측정값으로부터 수신 신호 강도(RSS)와 같은 무선 신호 특성의 공간 분포를 재구성하는 것을 목표로 하며, 이는 현대 무선 네트워크에서 스펙트럼 관리, 간섭 완화, 위치 추정에 핵심적인 과제이다. 전통적인 접근법인 보간법과 심층 학습은 복잡한 전파 효과를 포착하기 어렵거나, 새로운 샘플링 패턴마다 대규모 재학습이 필요하여 일반화 능력이 제한된다. 최근에는 사전 기반 방법들이 사전학습된 생성 모델과 측정값을 결합하여 배포 시점 모델 미세조정의 필요성을 줄이고 있으나, 일반적으로 사전 분포(prior)를 단순한 정규화(regularizer)로 취급하며 명시적인 송신기 인식 통합이 부족하다. 본 논문에서는 배포 시점 미세조정 없이 희소 RSS 측정값과 고정된 사전학습 확산 사전 분포를 긴밀히 통합하는 새로운 RM 추정 프레임워크인 RadioTrace를 제안한다. RadioTrace는 송신기(Tx) 위치 추정을 디노이징 루프에 직접 통합하여, 재구성 품질에 기반해 Tx 좌표를 반복적으로 정제함으로써 생성 과정을 안내한다. 견고성을 더욱 향상시키기 위해, Tx 업데이트에서 불량한 국소 최솟값을 완화하고 기하학적으로 일관된 시작점을 제공하는 전파 유도 K-means 초기화를 도입한다. 또한 Tx 좌표 정제 구성 요소에 대한 확률적 안정성 분석을 제공하여, Tx 업데이트가 확산 샘플링과 Tx-맵 완화(relaxation)에 의해 유발되는 섭동 하에서도 안정적으로 유지됨을 보인다. 광범위한 실험을 통해 RadioTrace가 무작위 샘플링 하에서 최첨단 학습 기반 방법들과 경쟁력 있는 성능을 달성하고, 제한 구역 샘플링 하에서도 강력한 재구성 품질을 유지함을 보여주며, 이는 적응성, 견고성, 실용적 관련성을 강조한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.