arXiv:2103.08323

Spatiotemporal Tensor Completion for Improved Urban Traffic Imputation

Ahmed Ben Said, Abdelkarim Erradi

제출 2021-03-12

원문 초록

Effective management of urban traffic is important for any smart city initiative. Therefore, the quality of the sensory traffic data is of paramount importance. However, like any sensory data, urban traffic data are prone to imperfections leading to missing measurements. In this paper, we focus on inter-region traffic data completion. We model the inter-region traffic as a spatiotemporal tensor that suffers from missing measurements. To recover the missing data, we propose an enhanced CANDECOMP/PARAFAC (CP) completion approach that considers the urban and temporal aspects of the traffic. To derive the urban characteristics, we divide the area of study into regions. Then, for each region, we compute urban feature vectors inspired from biodiversity which are used to compute the urban similarity matrix. To mine the temporal aspect, we first conduct an entropy analysis to determine the most regular time-series. Then, we conduct a joint Fourier and correlation analysis to compute its periodicity and construct the temporal matrix. Both urban and temporal matrices are fed into a modified CP-completion objective function. To solve this objective, we propose an alternating least square approach that operates on the vectorized version of the inputs. We conduct comprehensive comparative study with two evaluation scenarios. In the first one, we simulate random missing values. In the second scenario, we simulate missing values at a given area and time duration. Our results demonstrate that our approach provides effective recovering performance reaching 26% improvement compared to state-of-art CP approaches and 35% compared to state-of-art generative model-based approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25924v1stat.ML공통 태그 Time Series Analysis, Imputation

조건부 텐서 확산: 분포적 반사실 학습 및 추론

Conditional Tensor Diffusion: Distributional Counterfactual Learning and Inference

인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.

arXiv:2607.11915v1physics.plasm-ph공통 태그 Time Series Analysis, Imputation

플라즈마 진단 모델의 센서 견고성 벤치마킹: TokaMark에서의 체계적 평가

Benchmarking Sensor Robustness in Plasma Diagnostic Models: A Systematic Evaluation on TokaMark

토카막 융합 장치용 플라즈마 진단 모델은 거의 전적으로 깨끗하고 완전한 센서 데이터로 평가된다. 실제로는 융합 진단이 정기적으로 실패한다: 취득 시스템이 늦게 시작되고, 개별 센서가 고장 나며, 신호 드롭아웃이 플라즈마 붕괴가 임박할 때 정확히 집중된다. 우리는 11,573개의 MAST 샷으로 구성된 TokaMark 데이터셋을 사용하여, 물리적으로 근거 있는 여섯 가지 실패 시나리오와 세 가지 대치(imputation) 전략에 걸쳐 XGBoost, LSTM, 트랜스포머, TokaMark CNN 기준선을 평가함으로써 플라즈마 진단 ML의 최초 체계적 견고성 벤치마크를 제시한다. 아키텍처 간 표준화된 비교를 위해 견고성 점수(Robustness Score, RS)를 도입한다. 핵심 발견은 붕괴 근접 센서 실패(최종 윈도우 타임스텝에 주입된 손상)가 시퀀스 모델 성능을 붕괴시키는 반면(LSTM +212% NRMSE), 통계적 특징 모델은 비교적 안정적으로 유지된다(XGBoost +37%)는 것이다. 순방향 채움(forward-fill) 대치는 시퀀스 모델의 무작위 드롭아웃으로 인한 성능 저하를 거의 모두 제거하지만(LSTM +57%에서 ~0%로), 윈도우 끝이 손상된 경우에는 거의 도움이 되지 않는다. 실제 붕괴 타임스탬프를 이용한 샷 단위 알람 평가는 근접 센서 실패에서 LSTM 알람 탐지가 TPR=0.00으로 붕괴하는 반면, 평균 채움(mean-fill) 대치가 이를 TPR=1.00으로 복구함을 보여주며, 이는 NRMSE에서 관측된 패턴과 반대이다. 플라즈마 전류는 모든 아키텍처에서 제거 시(+73%에서 +140%) 가장 중요한 단일 진단량으로 부상한다. 코드, 데이터, 학습된 체크포인트는 https://github.com/Neerav-Gupta/tokamark-robustness 에서 이용 가능하다.

arXiv:2607.12730v1cs.LG공통 태그 Time Series Analysis, Imputation

사후 및 모델 내 불확실성을 반영한 학습 기반 확률적 부하 예측

Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty

스마트 빌딩 부하 예측기는 종종 조밀한 다변량 고빈도 데이터로 오프라인 학습되지만, 배포 시에는 시간당 단위의 특징이 제한된 입력만 제공될 수 있다. 누락된 특징은 재구성해야 하며, 그 오류는 모델을 통해 전파될 수 있다. 이 입력 불확실성이 반영되지 않으면 예측 구간이 부정확하게 보정되어 수요 반응(demand-response) 스케줄링에 영향을 미칠 수 있다. 본 연구는 추론 입력이 재구성된 이후 불확실성을 어디에 배치해야 하는지를 검토한다. 우리는 시간 해상도를 맞추고, 사용할 수 없는 입력을 재구성하며, 인과적 특징을 도출하는 통합 1일 선행 확률 예측 프레임워크를 개발하고, 모듈식 사후 잔차 분위수 방식과 통합 모델 내 분위수 학습 방식을 비교한다. 비교에는 세 가지 중규모 심층 학습(DL) 백본—순환형, 하이브리드 순환형, 어텐션 기반 시간 융합 트랜스포머(Temporal Fusion Transformer, TFT) 모델—이 동일한 입력, 예측 시계, 전처리 규칙, 학습 예산 하에서 사용된다. 결과는 불확실성 배치가 백본에 따라 달라짐을 보여준다. 통합 분위수 학습은 TFT에서 가장 신뢰할 만하며, 라벨이 있는 테스트 기간에서 2.2-3.6% MAPE와 28-83W RMSE를 달성하고, 명목 커버리지 수준에 가장 근접한 수준에서 모듈식 구간보다 약 5배 좁은 구간을 생성한다. Diebold-Mariano 검정은 TFT 순위와 순환형 백본의 혼합적 동작을 뒷받침한다. 재구성 민감도 테스트는 재구성된 입력이 분위수 점수(QS)를 106% 증가시키지만 구간 폭은 거의 변하지 않음을 보여주며, 이는 모델이 재구성으로 인한 불확실성을 자동으로 흡수하지 않음을 나타낸다. 비DL 기준선 및 계절별 홀드아웃 주차에 대한 견고성 검증은 이 순위를 뒷받침한다. 본 연구 결과는 추론이 재구성된 입력에 의존할 때 사후 잔차 분위수의 한계를 드러낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.