arXiv:2007.00411

Handling Variable-Dimensional Time Series with Graph Neural Networks

Vibhor Gupta, Jyoti Narwariya, Pankaj Malhotra, Lovekesh Vig, Gautam Shroff

제출 2020-07-01

원문 초록

Several applications of Internet of Things (IoT) technology involve capturing data from multiple sensors resulting in multi-sensor time series. Existing neural networks based approaches for such multi-sensor or multivariate time series modeling assume fixed input dimension or number of sensors. Such approaches can struggle in the practical setting where different instances of the same device or equipment such as mobiles, wearables, engines, etc. come with different combinations of installed sensors. We consider training neural network models from such multi-sensor time series, where the time series have varying input dimensionality owing to availability or installation of a different subset of sensors at each source of time series. We propose a novel neural network architecture suitable for zero-shot transfer learning allowing robust inference for multivariate time series with previously unseen combination of available dimensions or sensors at test time. Such a combinatorial generalization is achieved by conditioning the layers of a core neural network-based time series model with a "conditioning vector" that carries information of the available combination of sensors for each time series. This conditioning vector is obtained by summarizing the set of learned "sensor embedding vectors" corresponding to the available sensors in a time series via a graph neural network. We evaluate the proposed approach on publicly available activity recognition and equipment prognostics datasets, and show that the proposed approach allows for better generalization in comparison to a deep gated recurrent neural network baseline.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27710v3cs.CV공통 태그 Transfer Learning, Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.15760v1cs.LG공통 태그 Time Series, Time Series Analysis

학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측

Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics

다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.

arXiv:2610.13430v1eess.SP공통 태그 Time Series, Time Series Analysis

하나가 다른 하나로 이어진다: 시계열 인과 발견의 핵심 요소

One Thing Leads to Another: The Essentials of Time Series Causal Discovery

시계열 인과 발견(time series causal discovery) --- 시계열들 간의 인과관계를 탐지하는 과정 --- 은 반세기도 더 전의 신호 처리(signal processing) 연구에 그 뿌리를 두고 있다. 이후 이 분야는 활발하고 폭넓은 관심을 받아왔으며, 통계학, 동역학계(dynamical systems), 머신러닝 등 여러 분야에서 서로 다른 형태로 발전해왔다. 이처럼 파편화되어 끊임없이 변화하는 연구 지형에 처음 발을 들이는 것은 부담스러울 수 있다. 본 튜토리얼은 여러 연구 공동체에 걸친 시계열 인과 발견에 대한 통합적인 개요를 제공한다. 우리는 현대의 발견 방법들이 기반으로 삼는 핵심 원리들을 소개하고, 그 한계와 가정들을 논의한다. 또한 발견 방법들이 어떻게 평가, 벤치마크, 파인튜닝(fine-tuning)되는지도 논의한다. 더 나아가 시계열에 대한 인과 발견이 농업 및 지구과학, 헬스케어, 그리고 인공지능 시스템에서의 다운스트림 작업(downstream task)에 어떻게 점점 더 중요해지고 있는지를 논의한다. 우리는 본 튜토리얼이 최근 쏟아지는 인과성(causality) 연구들을 탐색하는 데 유용한 자료가 될 뿐만 아니라, 신호 처리 분야의 독자들이 인과 문제에 기여하도록 초대하는 역할을 할 것이라고 믿는다. 독자들에게 추가적인 도움을 주기 위해, 우리는 유용한 코드 패키지와 자료들을 연결해주는 동반 저장소(companion repository)를 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery 에서 운영하고 있다.

arXiv:2610.13435v1cs.LG공통 태그 Time Series Analysis, Transfer Learning

PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크

PPG-Bench: A Unified Benchmark for PPG Foundation Models

광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.