Data-driven Influence Based Clustering of Dynamical Systems
원문 초록
Community detection is a challenging and relevant problem in various disciplines of science and engineering like power systems, gene-regulatory networks, social networks, financial networks, astronomy etc. Furthermore, in many of these applications the underlying system is dynamical in nature and because of the complexity of the systems involved, deriving a mathematical model which can be used for clustering and community detection, is often impossible. Moreover, while clustering dynamical systems, it is imperative that the dynamical nature of the underlying system is taken into account. In this paper, we propose a novel approach for clustering dynamical systems purely from time-series data which inherently takes into account the dynamical evolution of the underlying system. In particular, we define a \emph{distance/similarity} measure between the states of the system which is a function of the influence that the states have on each other, and use the proposed measure for clustering of the dynamical system. For data-driven computation we leverage the Koopman operator framework which takes into account the nonlinearities (if present) of the underlying system, thus making the proposed framework applicable to a wide range of application areas. We illustrate the efficacy of the proposed approach by clustering three different dynamical systems, namely, a linear system, which acts like a proof of concept, the highly non-linear IEEE 39 bus transmission network and dynamic variables obtained from atmospheric data over the Amazon rain forest.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고정된 확산 없는 고정점: 수렴하는 테스트 시점 연산을 위한 암시적 신경 층
Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation
암시적 그래프 신경망(IGNN)은 노드 표현을 그래프 신경 연산자의 고정점(fixed point)으로 정의하여 실질적으로 무한한 깊이의 전파, 반복(iteration) 독립적인 매개변수화, 유연한 테스트 시점 연산(test-time computation)을 가능하게 합니다. 그러나 이러한 이점은 평형점이 유일하며 고정점 반복을 통해 도달할 수 있는지 여부에 달려 있습니다. 기존의 구조들은 이러한 보장을 얻기 위해 순환 업데이트에 제약을 가하는 경우가 많아 평형 상태에서 사용 가능한 변환을 제한했습니다. 이는 핵심적인 질문을 제기합니다: IGNN이 평형 정식화의 고유한 강점을 유지하면서 더 풍부한 엣지 의존적 변환을 통해 표현력을 얻을 수 있을까요? 본 논문에서는 적응형 신경 층(neural-sheaf) 전파를 갖춘 준동차(subhomogeneous) 심층 평형 아키텍처인 SheafDEQ를 소개합니다. 학습된 행렬 값 층 제한 사상(sheaf restriction map)은 이웃한 표현들을 정렬, 혼합 또는 반전시킬 수 있습니다. 완만한 정칙성 조건 하에서, SheafDEQ가 임의의 양의 초기 상태로부터 고정점 반복을 통해 전역적으로 도달 가능한 유일한 평형점을 가짐을 증명합니다. 나아가 축약성(contractivity)은 유계된 통신 지연(staleness) 하에서도 수렴을 보장합니다. 본 연구는 반복적인 비국소적 집계가 필요한 분산 추론(inference) 태스크와 연결 재구성이 점차 커뮤니티 간 상호작용을 선호하게 되는 커뮤니티 탐지 태스크에서 SheafDEQ를 평가합니다. SheafDEQ는 Sums, MNIST Terrain, Coordinates 태스크 및 연결성이 점차 이종친화적(heterophilic)으로 변하는 커뮤니티 탐지에서 암시적 베이스라인보다 향상된 성능을 보입니다. 또한 SheafDEQ는 평형 보장이 없는 순환 모델들과 비교해도 경쟁력을 유지합니다. 연속 반복 진단 결과 유한 구간(finite-horizon) 대조군과 달리 100회 반복까지 잔차가 감소하고 테스트 정확도가 유지됨을 확인하였으며, 지연 업데이트 실험에서는 유계된 통신 지연에 대해 낮은 민감도를 나타냈습니다.
DiaSeg: 해석 가능한 보행 분석을 위한 DTW 경로에서의 대각 세그먼트 추출
DiaSeg: Diagonal Segment Extraction from DTW Paths for Interpretable Gait Analysis
동적 시간 워핑(Dynamic Time Warping, DTW)은 시계열 간 유사도를 측정하는 데 지배적으로 사용되는 방법이지만, 표준적인 방식은 단일 거리 값을 계산한 후 최적 워핑 경로를 폐기함으로써 임상 진단과 가장 관련이 깊은 지역적 정렬 정보를 잃는다. 본 논문은 제어된 단절을 허용하며 DTW 경로에서 대각 세그먼트를 추출하는 프레임워크인 DiaSeg를 소개한다. DiaSeg는 각 세그먼트를 다섯 가지 기하학적 특징(유효 길이, 단절 횟수, 비용 변동, 시간적 위치, 경로 맥락)으로 특성화하며, 도메인 특화 특징 공학(feature engineering) 없이 비지도 패턴 발견을 가능하게 한다. 6가지 임상 상태(건강한 노화, 파킨슨병, 헌팅턴병, 근위축성 측삭경화증(ALS), 뇌종양, 뇌졸중)에 걸친 91명의 피험자를 대상으로 검증한 결과, 세 가지 결과가 도출되었다. 첫째, 대각 세그먼트는 생체역학적 단계 주석과 일치하는 일관된 비지도 패턴을 형성하며(실루엣 계수 0.33), 레이블 기반 검증을 통해 건강한 보행과 병리적 보행 간 거의 완벽한 분리를 확인하였다(조정 랜드 지수(ARI) 최대 0.986). 둘째, 세그먼트는 지도 학습에서 69%, 환자 수준 클러스터링에서 75%의 정확도로 병리를 구분하며, 병리는 세그먼트 길이의 분포적 변화를 통해 나타난다. 세그먼트 특징과 주기(cycle) 수준 특징을 결합하면 분류(classification) 정확도가 91.7%까지 향상된다. 셋째, 주기 기반 방법이 더 높은 정확도(91%)를 달성하지만, 대각 세그먼트는 전역적 표현으로는 얻을 수 없는 단계별 해석 가능성을 제공하여 보행 주기 내에서 협응이 무너지는 위치를 국소화할 수 있다. 이처럼 DiaSeg는 DTW를 블랙박스 거리 척도에서 신경퇴행성 질환 평가를 위한 해석 가능한 시간적 특징의 원천으로 전환한다.
Grassmann 다양체 상의 정규화 최적화: 이론, 알고리즘 및 응용
Regularized Optimization on Grassmann Manifold: Theory, Algorithm and Applications
스펙트럴 방법은 커뮤니티 탐지, 클러스터링, 그래프 학습에서 가장 널리 사용되는 기법 중 하나이다. 그러나 그 성능은 근본적인 스펙트럴 부분공간의 정확한 추정에 크게 의존하며, 노이즈, 이상치, 또는 모델 교란이 존재할 경우 상당히 악화될 수 있다. 이 한계를 해결하기 위해, 우리는 rank-$K$ 투영 행렬의 강건한 추정을 위한 정규화 투영 행렬 근사(Regularized Projection Matrix Approximation, RPMA) 프레임워크를 제안한다. RPMA는 정규화 항을 통합하여 고전적인 스펙트럴 투영을 확장하며, 더 강건하고 희소하며 해석 가능한 투영 추정치를 생성한다. 우리는 제안된 모델을 rank-$K$ 투영 행렬의 다양체 상의 최적화 문제로 공식화하고, Grassmann 다양체와의 기하학적 동등성을 활용한다. 이 다양체 특성화를 바탕으로, 1차 및 2차 최적성 조건을 유도하고, 정규화된 선행 고유공간의 국소 안정성을 확립하며, 충분히 작은 정규화 하에서 임계점 경관의 안정성을 특성화한다. 결과적인 비볼록 최적화 문제를 효율적으로 풀기 위해, 역추적 선 탐색(backtracking line search)을 갖춘 Riemann 그래디언트 투영 알고리즘과, 반복적인 고유값 분해를 피하는 보다 효율적인 Cayley--Sherman--Morrison--Woodbury(Cayley--SMW) 그래디언트 방법을 개발한다. 합성 및 실제 데이터셋에 대한 광범위한 실험은 RPMA가 투영 행렬의 복원 정확도를 크게 향상시키며, 노이즈가 있는 환경에서 커뮤니티 탐지 및 클러스터링을 위한 기존 스펙트럴 투영 방법보다 일관되게 우수한 성능을 보임을 입증한다.
CASC: 다변량 시공간 데이터를 위한 인과적 적대적 부분공간 클러스터링
CASC: Causal Adversarial Subspace Clustering for Multivariate Spatiotemporal Data
깊은 부분공간 클러스터링(deep subspace clustering)은 해빙 모니터링, 질병 확산 분석, 시간에 따른 신경 퇴행 추적 등 다변량 시공간 데이터를 다루는 응용에서 중요한 역할을 한다. 최근의 발전에도 불구하고, 기존 방법은 주로 기하학적 자기표현성(self-expressiveness)에 의존하며 정적인 부분공간 구조를 가정하고, 복잡한 시공간 시스템에 내재된 인과적 의존성, 국소적 공간 상호작용, 장거리 시간 역학을 포착하지 못하는 경우가 많다. 이러한 한계를 해결하기 위해, 고차원 시공간 데이터에서 진화하는 잠재 체제(latent regime)를 발견하기 위한 새로운 인과적 적대적 부분공간 클러스터링(CASC) 프레임워크를 제안한다. CASC는 공간 및 시간 구조를 보존하면서 강건한 잠재 표현을 학습하기 위해 U-Net에서 영감을 받은 깊은 적대적 클러스터링 아키텍처와 적층 FAConvLSTM 레이어를 통합한다. 국소적 공간 관계, 전역적 의존성, 장거리 시간 상호작용을 공동으로 모델링하기 위해 그래프 어텐션 트랜스포머 기반 자기표현 네트워크를 도입한다. 또한 두 가지 새로운 학습 목표를 제안한다: (1) 자기표현 계수를 잠재 인과 관계와 정렬하여 클러스터가 단순한 특징 유사성이 아닌 근본적인 인과 과정을 반영하도록 유도하는 인과적 부분공간 보존 손실(Causal Subspace Preservation Loss), (2) 비정상(nonstationary) 환경에서 진화하는 부분공간 구조와 시간적 체제 전환을 포착하는 동적 시간 부분공간 진화 손실(Dynamic Temporal Subspace Evolution Loss). 이러한 구성 요소들은 함께 깊은 부분공간 클러스터링을 상관관계 중심 패러다임에서 인과-시간 체제 발견 프레임워크로 전환한다.
ALS 진행 및 의료 서비스 이용 예측을 위한 시간적 머신러닝 기반 시간-이벤트 모델
A Temporal Machine Learning-Based Time-to-Event Model for Predicting ALS Progression and Healthcare Utilization
근위축성측索경화증(ALS)은 진행성이며 이질적인 신경퇴행성 질환으로, 보조 기기 사용과 같은 임상적으로 의미 있는 이정표를 예측하는 것은 여전히 어렵다. 우리는 종단적 ALS 기능 평가 척도-개정판(ALSFRS-R) 궤적과 생존 모델링(survival modeling)을 통합하여 기능 저하와 보조 기기 이용에 대한 개인화된 예측을 지원하는 시간-이벤트(time-to-event), 디지털 트윈(digital twin) 영감의 프레임워크를 개발했다. 진단 기록, ALSFRS-R 평가, 일상생활 활동, 인구통계학적 정보를 통합하여 조화된 종단 데이터셋을 구축한 뒤, 데이터 품질, 시간적 정렬, 코호트 일관성을 보장하기 위한 전처리를 수행했다. 상관 기반 클러스터링은 연하, 상지, 체간, 하지, 호흡계에 걸친 일관된 기능 영역을 식별했다. 일반화 가법 혼합 모델(generalized additive mixed models)은 모든 영역에서 비선형적이고 영역 특이적인 기능 저하를 특성화했다. 또한 종단적 기능 저하를 예측하고 단계 의존적 질병 진행을 포착하기 위해 시간적 머신러닝 모델을 개발했다. Cox 비례 위험 모델링(Cox proportional hazards modeling)은 또한 하지 기능, 특히 보행과 계단 오르기를 더 이른 휠체어 사용의 가장 강력한 예측 변수로 식별했다. 이러한 결과를 바탕으로, 개인화된 생존 곡선을 생성하고 휠체어 없이 생존하는 기간을 동적으로 예측하는 디지털 트윈 영감의 시간적 머신러닝 기반 시간-이벤트(TTE) 모델을 구현했다. 이 프레임워크는 ALS 진행을 개인화된 의사결정 지원과 연결하는 확장 가능하고 해석 가능하며 임상적으로 실행 가능한 접근법을 제공하며, 선제적 돌봄 계획, 임상시험 층화, 정밀 의학(precision medicine)에 적용할 수 있다.
다변량 풍력 발전단 SCADA 데이터 필터링을 위한 군집 알고리즘
Clustering algorithms for multivariate wind farm SCADA data filtering
풍력 발전단 운전 중 감시 제어 및 데이터 수집(Supervisory Control and Data Acquisition, SCADA) 시스템은 수많은 이상(anomaly), 과도현상(transient), 특정 운전 모드를 기록하여 대규모 데이터셋을 생성한다. 그러나 다양한 응용 분야에서는 정상 운전에 해당하는 측정값만 필요하므로 SCADA 데이터를 필터링해야 한다. 이를 위해 전문가가 데이터를 시각적으로 검토하여 수행하는 수동 필터링을 자동화하고 대체하기 위한 여러 방법이 제안되었다. 본 논문에서는 수동 필터링과 여러 군집 알고리즘의 필터링 정확도를 비교하고, 라벨이 없는 데이터에 적합하며 잠재적 응용 분야 전반에 걸쳐 견고한 평가(evaluation) 지표를 도입한다. 결과를 바탕으로 서로 다른 데이터셋에 모델 보정을 일반화하는 방안에 대한 권고사항을 제시하고, 각 모델의 잠재적 활용 사례를 논의한다. 모델은 기존 해상 풍력 발전단의 3개 터빈 SCADA 데이터에 여러 데이터 채널에 걸친 10분 통계치를 사용하여 적용하였다. 일반적으로 기록되는 이상 및 운전 모드 외에도, 데이터셋은 여러 현장 시험(field test)으로 인해 뚜렷하지 않은(non-evident) 이상치(outlier)가 다수 존재한다. 전반적으로 결과는 특징 선택과 평가 지표 설계 모두에서 출력 곡선(power curve)을 넘어 분석을 확장하는 것의 중요성을 강조한다. 대부분의 경우 군집 기반 방법은 뚜렷한 이상치와 미묘한 이상치를 모두 검출할 수 있으며, 수동 필터링보다 높은 정확도를 달성한다. 그러나 정확도와 보존되는 데이터의 양은 모델에 따라 상당히 달라지며, 수동 필터링에 비해 줄어들긴 하지만 전문가의 개입은 여전히 필요하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.