arXiv:2303.13177

It is all Connected: A New Graph Formulation for Spatio-Temporal Forecasting

Lars Ødegaard Bentsen, Narada Dilp Warakagoda, Roy Stenbro, Paal Engelstad

제출 2023-03-23

원문 초록

With an ever-increasing number of sensors in modern society, spatio-temporal time series forecasting has become a de facto tool to make informed decisions about the future. Most spatio-temporal forecasting models typically comprise distinct components that learn spatial and temporal dependencies. A common methodology employs some Graph Neural Network (GNN) to capture relations between spatial locations, while another network, such as a recurrent neural network (RNN), learns temporal correlations. By representing every recorded sample as its own node in a graph, rather than all measurements for a particular location as a single node, temporal and spatial information is encoded in a similar manner. In this setting, GNNs can now directly learn both temporal and spatial dependencies, jointly, while also alleviating the need for additional temporal networks. Furthermore, the framework does not require aligned measurements along the temporal dimension, meaning that it also naturally facilitates irregular time series, different sampling frequencies or missing data, without the need for data imputation. To evaluate the proposed methodology, we consider wind speed forecasting as a case study, where our proposed framework outperformed other spatio-temporal models using GNNs with either Transformer or LSTM networks as temporal update functions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21922v1cs.LG공통 태그 Imputation, Graph Neural Network

MissHyper: 결측 안내 하이퍼그래프 예측에서 임상 동기성 복원

MissHyper: Restoring Clinical Synchronicity in Missingness-Guided Hypergraph Forecasting

임상 불규칙 다변량 시계열은 생리학적 역학뿐 아니라 언제 무엇을 관측할지를 결정하는 측정 과정에 의해서도 형성된다. 그러나 이벤트 중심 모델에서는 동일 타임스탬프 구조가 너무 이른 시점에 평탄화될 수 있다. 같은 타임스탬프에 획득된 측정값이 고립된 노드로 임베딩되면, 이후 메시지 전달(message-passing) 계층에 이르기까지 지역적 환자 상태 문맥을 사용할 수 없게 된다. 우리는 이러한 전파 전(pre-propagation) 표현 병목을 연구하고, 메시지 전달이 시작되기 전에 동일 타임스탬프 문맥을 복원함으로써 이를 해결한다. 전파 전 동기성 복원을 갖춘 결측 안내 하이퍼그래프 예측 모델인 MissHyper를 제안한다. MissHyper는 각 이벤트에 지역적 지원 밀도(support-density) 단서를 보강하고, 동일 타임스탬프 기록을 집계하여 환자 상태 문맥을 복구하며, 결측 안내 게이트를 사용해 노드별 증거와 복구된 문맥을 적응적으로 융합한다. PhysioNet 2012, MIMIC-III, MIMIC-IV에서 MissHyper는 다단계 예측에서 일관된 성능 향상을 달성하고 강력한 하이퍼그래프 기준선을 능가한다. 이 결과는 이벤트 초기화를 개선하는 것이 하류 전파 아키텍처를 재설계하지 않고도 희소 임상 예측에 도움이 될 수 있음을 시사한다. 어블레이션(ablation)은 스냅샷 복원, 적응적 융합, 지원 밀도 인코딩이 모두 기여함을 보여주며, 희소 임상 예측에서 이벤트 초기화가 핵심 설계 축임을 가리킨다.

arXiv:2607.08915v1cs.LG공통 태그 Imputation, Graph Neural Network

결측 데이터 처리를 위한 패턴 인식 그래프 신경망

Pattern-Aware Graph Neural Networks for Handling Missing Data

결측 데이터는 실제 데이터셋에서 어디서나 발생한다. 전통적인 방법들은 불완전한 샘플을 버리거나, 결측이 무작위로 발생한다고 암묵적으로 가정하면서 잠재적으로 유용한 정보를 담고 있는 결측 패턴을 무시하는 대입(imputation) 기법을 적용한다. 그러나 결측 패턴은 추가적인 정보를 제공할 수 있다. 우리는 관측된 값과 함께 어떤 특징이 결측되었는지를 명시적으로 인코딩하는 패턴 인식 그래프 신경망(graph neural networks)을 제안한다. 자연적으로 결측이 발생하는 7개의 UCI 데이터셋에서 학습된 임베딩, 고정된 랜덤 임베딩, 통계적 특징, 계층적 표현 등 네 가지 인코딩 전략을 사용하였다. 우리의 패턴 인식 방법은 기준선 대비 상당한 성능 향상을 달성하였으며, 모든 데이터셋에서 균형 정확도(balanced accuracy) 평균 17%, F1-macro 평균 22% 향상을 보였다. 데이터셋별 이점은 크게 다르며, annealing은 극적인 향상(균형 정확도 +80%)을 보이는 반면, hepatitis와 soybean은 미미한 향상(+4~5%)에 그쳤다. 주목할 만한 점은, 단순한 랜덤 패턴 임베딩도 학습된 임베딩과 유사한 성능을 보인다는 것이다(균형 정확도 0.650 대 0.663). 이는 패턴 간 구분이 태스크별 최적화보다 더 중요할 수 있음을 시사한다. 어블레이션 연구에서는 어텐션 메커니즘이 도움이 되긴 하지만, 패턴 정보가 제공될 때는 필수적이지 않음을 밝혔다. 패턴 인식을 갖춘 단순 평균 집계(mean aggregation)가 어텐션 기반 변형(0.645)과 비교해 균형 정확도 0.640을 달성하였다.

arXiv:2607.05613v1cs.LG공통 태그 Imputation, Graph Neural Network

SafeImpute: 순응적 선택을 통한 신뢰할 수 있는 임상 데이터 대체 보정

SafeImpute: Reliable Clinical Data Imputation via Conformal Selection

임상 진료는 주요 검사 지표에 크게 의존하지만, 실제 환자 방문은 드물고 검사는 불규칙적으로 의뢰되어 결측값이 광범위하게 발생한다. 많은 대체 보정(imputation) 방법들이 평균 정확도를 향상시키지만, 고위험 후속 사용에 충분히 신뢰할 수 있는 대체 값이 어떤 것인지에 대한 지침은 제한적이다. 본 연구에서는 신뢰할 수 있는 임상 대체 보정을 연구하며, 임상적으로 허용 불가한 오류에 대한 통계적 제어와 함께 정확한 대체 보정을 수행하면서 신뢰할 수 있는 결과를 선택적으로 공개하는 것을 목표로 한다. 이 목표를 달성하기 위해, 불규칙하고 희소한 임상 종단 기록을 위한 신뢰할 수 있는 대체 보정 프레임워크인 SafeImpute를 제안한다. SafeImpute는 환자 내 시간적 궤적과 환자 간 임상적 유사성을 모두 포착하는 이벤트 그래프를 구성하고, 보조적 마스킹 재구성 목적 함수로 정규화된 이중 관계 GNN과 적응적 융합을 통해 대체 보정을 학습한다. 신뢰성 보장을 위해, SafeImpute는 프록시 위험 점수를 순응적(conformal) p-값으로 변환하고 Benjamini--Hochberg 절차를 적용하여, 사용자가 지정한 허용 오차 내에서 공개된 대체 보정 중 허용 불가한 오류의 위발견율(FDR)을 제어한다. Mayo Clinic 데이터, 공개 데이터셋 MIMIC-III 및 MIMIC-IV에 대한 실험에서 SafeImpute는 강력한 대체 보정 정확도를 달성하면서 신뢰할 수 있는 오류 제어를 제공하며, 표준 대체 보정 평가와 FDR 제어 선택적 공개 평가 모두에서 다양한 기준 모델을 능가하였다.

arXiv:2609.25722v3cs.LG공통 태그 Graph Neural Network

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

arXiv:2609.27710v3cs.CV공통 태그 Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2607.05017v2cs.LG공통 태그 Graph Neural Network

그래프 신경망에서의 하이퍼파라미터 전이

Hyperparameter Transfer in Graph Neural Networks

심층 학습(deep learning) 모델의 성능은 학습률, 초기화 스케일, 가중치 감쇠와 같은 하이퍼파라미터 설정에 크게 의존한다. 하이퍼파라미터 전이(hyperparameter transfer)는 모델 규모에 걸쳐 최적에 가까운 하이퍼파라미터 설정을 일관되게 유지하는 것을 목표로 하며, 이를 통해 대형 모델을 더 작고 최적화 비용이 저렴한 대리 모델을 프록시 튜닝하여 최적화할 수 있다. 전이 원칙은 언어 및 비전 태스크에서의 밀집 신경망(dense neural network) 맥락에서 잘 연구되어 있지만, 그래프 신경망(GNN)에 대해서는 상대적으로 탐구가 미흡한 상태이다. 우리는 SGD, Adam, AdamW로 학습된 GNN을 위한 전이 파라미터화를 개발하고 검증한다. 이론적 스케일링 분석과 제어된 실험을 통해, 제안된 파라미터화가 안정적인 특징 업데이트, 학습률 전이, 그리고 너비와 깊이가 증가함에 따른 성능 향상을 달성함을 보인다. SGD의 경우, 그래프에 의존하는 첫 번째 층 보정 인수를 식별하고, 이를 활용하면 희소 bag-of-words 입력을 가진 그래프에서 초기 학습을 가속화할 수 있음을 보인다. Adam의 경우, 서로 다른 메시지 패싱 정규화 방식이 초기 및 후기 학습 전이 동작에 미치는 영향을 탐구하며, 메시지 패싱 정규화의 중요성을 설명하고 이에 연관된 하이퍼파라미터의 사용을 권장한다. AdamW의 경우, 가중치 감쇠와 학습률의 공동 전이를 가능하게 하는 파라미터화를 적용한다. 이러한 결과들은 다양한 학습 태스크와 학습 시나리오에 걸쳐 GNN을 스케일링하기 위한 실용적인 방법론을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.