arXiv:2502.12937

Tuning Algorithmic and Architectural Hyperparameters in Graph-Based Semi-Supervised Learning with Provable Guarantees

Ally Yalei Du, Eric Huang, Dravyansh Sharma

제출 2025-02-18

원문 초록

Graph-based semi-supervised learning is a powerful paradigm in machine learning for modeling and exploiting the underlying graph structure that captures the relationship between labeled and unlabeled data. A large number of classical as well as modern deep learning based algorithms have been proposed for this problem, often having tunable hyperparameters. We initiate a formal study of tuning algorithm hyperparameters from parameterized algorithm families for this problem. We obtain novel $O(\log n)$ pseudo-dimension upper bounds for hyperparameter selection in three classical label propagation-based algorithm families, where $n$ is the number of nodes, implying bounds on the amount of data needed for learning provably good parameters. We further provide matching $\Omega(\log n)$ pseudo-dimension lower bounds, thus asymptotically characterizing the learning-theoretic complexity of the parameter tuning problem. We extend our study to selecting architectural hyperparameters in modern graph neural networks. We bound the Rademacher complexity for tuning the self-loop weighting in recently proposed Simplified Graph Convolution (SGC) networks. We further propose a tunable architecture that interpolates graph convolutional neural networks (GCN) and graph attention networks (GAT) in every layer, and provide Rademacher complexity bounds for tuning the interpolation coefficient.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2408.02845v2cs.LG공통 태그 Graph Attention공식 코드 · Papers with Code

암 멀티오믹스 통합을 위한 멀티모달 특징 선택 기반 이종 그래프 어텐션 네트워크

Heterogeneous Graph Attention Network With Multimodal Feature Selection for Cancer Multiomics Integration

고차원 멀티오믹스 데이터가 증가함에 따라 인간 질환의 복잡성을 포착할 수 있는 고급 통합 모델이 요구된다. 그래프 기반 딥러닝 통합 모델은 유망함에도 불구하고 소규모 환자 코호트와 고차원 특징에 어려움을 겪으며, 오믹스 간 관계를 모델링하지 않은 채 독립적인 특징 선택을 적용하는 경우가 많다. 또한 기존의 그래프 기반 오믹스 모델은 동종 그래프에 초점을 맞추어, 다양한 구조를 포착하기 위한 여러 유형의 노드와 에지가 부족하다. 우리는 암 진단을 개선하기 위한 오믹스 통합용 이종 그래프 어텐션 네트워크(HeteroGATomics)를 제안한다. HeteroGATomics는 멀티 에이전트 시스템을 통해 멀티모달 특징 선택을 수행하여 각 오믹스 모달리티별로 특징 및 환자 유사도의 전용 네트워크를 생성한다. 이후 이 네트워크들을 하나의 이종 그래프로 결합하여 오믹스별 전체론적 표현을 학습하고 모달리티 간 예측을 통합한다. 세 가지 암 멀티오믹스 데이터셋에 대한 실험에서 HeteroGATomics는 암 진단의 대부분의 평가 지표에서 기준 방법들을 능가한다. 독립적인 유방암 코호트에 대한 외부 검증은 이 방법의 일반화 가능성을 추가로 보여 주며, 여기서 HeteroGATomics는 모든 평가 지표에서 그래프 기반 멀티오믹스 통합 방법들을 능가한다. 더욱이 HeteroGATomics는 진단 결과에 기여하는 중요한 바이오마커를 식별함으로써 해석 가능성을 높인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.