arXiv:2606.20932v1 cs.LG

쉬프 신경망을 위한 계층적 풀링

Hierarchical Pooling for Sheaf Neural Networks

Dionisia Naddeo, Carlo Abate, Pietro Liò, Nicola Toschi, Filippo Maria Bianchi

제출 2026-06-18

한국어 초록

쉬프 신경망(Sheaf Neural Networks, SNN)은 스칼라 노드 신호를 스토크 값(stalk-valued) 신호로 대체하고 에지 전반의 호환성을 측정하기 위해 제한 맵(restriction map)을 사용함으로써 그래프 신경망(Graph Neural Networks, GNN)을 일반화한다. 인접 노드 특징들이 서로 유사해지도록 유도하는 표준 그래프 확산과 달리, 쉬프 확산(sheaf diffusion)은 제한 맵을 통해 일관성을 촉진하며 따라서 인접 노드 간의 보다 일반적인 관계를 모델링할 수 있다. 그러나 기존의 쉬프 신경 아키텍처는 주로 고정된 그래프 해상도에서 동작하며, 계층적 표현을 구축하기 위한 원칙적인 풀링 메커니즘을 제공하지 않는다. 본 논문에서는 로컬 스펙트럴 코어스닝(local spectral coarsening) 기반의 쉬프 인식 풀링 프레임워크인 계층적 쉬프 풀(Hierarchical Sheaf Pool, HiSP)을 소개한다. 그래프의 분할이 주어지면, HiSP는 클러스터 내부 쉬프 라플라시안(sheaf Laplacian)의 저주파 고유 모드(eigenmodes)에 세밀한 스토크 값 특징을 투영함으로써 각 거친 스토크를 구성한다. 이러한 로컬 모드들은 코체인 수준 연장 맵(cochain-level prolongation map)을 정의하며, 이를 통해 갈레르킨 연산자(Galerkin operator)를 거쳐 세밀한 쉬프 에너지를 거친 공간에서 표현할 수 있다. 나아가, 버려진 로컬 모드로 인한 절단 손실(truncation loss)과 투영된 연산자를 거친 쉬프로 표현함으로써 발생하는 실현 손실(realization loss)을 분리하여 코어스닝으로 인한 근사를 분석한다. 마지막으로, HiSP를 SNN과 호환되는 GNN 풀링 층으로 구현하고, 배칭(batching), 리프팅된 쉬프 라플라시안(lifted sheaf Laplacians), 계층적 아키텍처를 지원하는 PyG 구현을 제공한다.

원문 초록

Sheaf Neural Networks (SNNs) generalize Graph Neural Networks (GNNs) by replacing scalar node signals with stalk-valued signals and by using restriction maps to measure compatibility across edges. Unlike standard graph diffusion, which encourages neighboring node features to become similar, sheaf diffusion promotes consistency through the restriction maps and can therefore model more general relationships between neighboring nodes. However, existing sheaf neural architectures mainly operate at a fixed graph resolution and do not provide a principled pooling mechanism for building hierarchical representations. In this paper, we introduce Hierarchical Sheaf Pool (HiSP), a sheaf-aware pooling framework based on local spectral coarsening. Given a partition of the graph, HiSP constructs each coarse stalk by projecting fine stalk-valued features onto the low-frequency eigenmodes of the cluster-internal sheaf Laplacian. These local modes define a cochain-level prolongation map, which allows the fine sheaf energy to be represented on the coarse space through a Galerkin operator. We further analyze the approximation induced by coarsening by separating truncation loss, due to discarded local modes, from realization loss, due to representing the projected operator as a coarse sheaf. Finally, we implement HiSP as a GNN pooling layer compatible with SNNs and provide a PyG implementation supporting batching, lifted sheaf Laplacians, and hierarchical architectures.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20932v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02517v1cs.LG공통 태그 Representation Learning, Graph Neural Network, Graph Learning

잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법

Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation

그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.

arXiv:2609.27710v3cs.CV공통 태그 Representation Learning, Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.13689v1cs.LG공통 태그 Graph Neural Network, Graph Learning

VQIL: 그래프 상의 섭동 반응 순위화를 위한 가시적 양자 간섭 학습

VQIL: Visible Quantum Interference Learning for Perturbation Response Ranking on Graphs

국소적 섭동(perturbation)이 네트워크에 미치는 영향을 학습하는 것은 시스템의 반응을 유발하거나 흡수하는 구성 요소를 식별하는 데 중요합니다. 본 연구에서는 이를 시드 조건부 반응 순위화(seed-conditioned response ranking) 문제로 정의합니다. 즉, 하나의 시드 노드(node)에서 섭동이 발생했을 때 다른 모든 노드를 반응 강도에 따라 순위화하는 것입니다. 이는 모델(model)에 상호작용 토폴로지만 주어지고 섭동이 전파되는 방식을 지배하는 메커니즘을 데이터로부터 학습해야 할 때 특히 어렵습니다. 본 논문에서는 시드 조건부 순위화를 위한 학습 가능한 세게디 양자 워크(Szegedy quantum walk)인 VQIL(Visible Quantum Interference Learning)을 제안합니다. 워크 연산자가 학습(training) 전반에 걸쳐 유니터리(unitary) 상태를 유지하는 동안, 에지 가중치, 링크 위상, 노드별 위상 회전이 역전파(backpropagation)를 통해 엔드투엔드로 최적화됩니다. 노드 점수는 양자 워크 진폭의 기하학적 감쇠 코히런트 합(coherent sum)에서 얻어지며, 이를 통해 최종 제곱 노름(squared-norm) 판독 전에 양자 간섭이 가능해집니다. 학습된 각 매개변수(parameter)는 명명된 에지 또는 노드에 연결되어 있으므로, 학습된 모델은 전파 메커니즘에서 개별 그래프 구성 요소의 역할에 대해 직접 검사 가능한 가설을 제공합니다. 전기적 매개변수를 모델에 제공하지 않은 6개 송전망에 대한 교류 조류(AC power-flow) 섭동 실험에서, VQIL은 스피어만 순위 상관계수를 학습되지 않은 워크의 0.147에서 0.831로 향상시켰으며 동일하게 학습된 무작위 워크 모델의 성능을 능가했습니다. Perturb-seq 지도 신호가 있는 5개 단백질-단백질 상호작용 네트워크에 대한 유전자 섭동 실험에서 VQIL은 순위 상관계수를 0.171에서 0.620으로 향상시켜 가장 강력한 고전적 및 신경망 기반 학습 베이스라인들을 능가했습니다. 이러한 결과는 학습 가능한 양자 워크 간섭이 그래프 상에서 시드 조건부 반응 순위를 학습하기 위한 확장 가능하고 해석 가능한 귀납적 바이어스(inductive bias)를 제공함을 보여줍니다.

arXiv:2610.13765v1cs.LG공통 태그 Graph Neural Network, Graph Learning

엣지 독립성이 실패할 때: 잠재 사회성 사전분포를 이용한 결합 그래프 디퓨전

When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors

이산 그래프 디퓨전 모델은 마르코프 노이즈 모델을 사용한 독립적인 엣지(edge) 업데이트를 통해 그래프 구조를 손상시킨다. 출력 분포에 대한 교환가능성(exchangeability) 요구 조건과 결합되면, 터미널 사전분포(prior)는 필연적으로 에르되시-레니(Erdős–Rényi, E-R) 랜덤 그래프가 된다. 이는 노드 특징(feature) 없는 비조건부 그래프 생성에 근본적인 결과를 초래한다: 큰 그래프의 극한에서, E-R 그래프에 적용된 모든 GNN 디노이저(denoiser)는 대략적으로 E-R 그래프를 출력하여, 효과적인 디노이징(denoising)을 어렵게 만든다. 실제로, 생성된 그래프는 의미 있는 노드 이질성(heterogeneity)과 고차 구조(higher-order structure)를 복원하지 못한다. 이전 모델들은 이를 보완하기 위해 전문화된 노드 특징을 도입했으며, 이를 표현력(expressivity) 문제로 간주했지만, 사전분포의 역할은 검토되지 않은 채로 남아 있었다. 우리는 대신 잠재 사회성 사전분포(Latent Sociability Prior, LSP)와, 잠재 노드 사회성(sociability) 변수와 그래프 구조를 함께 진화시키는 결합(joint) 디퓨전 프로세스를 도입하여 근본 원인을 해결하며, 교환가능성을 유지하면서 엣지 독립성을 제거한다. 기존의 잠재 그래프 디퓨전 방법들과 달리, 사회성 메커니즘은 복잡한 인코더(encoder)를 필요로 하지 않는다: 그 유일한 역할은 엣지 업데이트를 안내하고 궤적(trajectory) 전체에서 노드 이질성을 보존하는 것이다. 우리는 여러 그래프 생성 데이터셋에서 접근법을 검증하고, 제안된 프레임워크가 노드 특징이 없는 기준선(baseline) 방법들보다 그래프 분포를 더 정확하게 포착함을 보인다.

arXiv:2610.13786v1cs.LG공통 태그 Graph Neural Network, Graph Learning

이산 그래프 확산 모델은 은밀하게 암기하고 있다

Your Discrete Graph Diffusion Model is Secretly Memorizing

이산 그래프 확산 모델(Discrete graph diffusion models, GDM)은 마르코프(Markovian) 노이즈 모델 하에서 노드(node)와 에지에 독립적으로 노이즈를 추가하여 그래프 구조를 손상시킵니다. 노드 특징이 없는 무조건부 설정에서, 단일 그래프로 학습(training)된 등변 노이즈 제거기(equivariant denoiser)는 새로운 그래프를 생성할 수 있으며 에지 겹침(edge overlap) 및 WL 커널(kernel) 유사도와 같은 샘플 수준의 지표에서는 암기의 증거를 찾을 수 없습니다. 본 연구에서는 이러한 관점에 이의를 제기하고, 그래프 확산 모델이 실제로 암기 현상을 보인다는 점을 최초로 입증합니다. 2-블록 확률적 블록 모델(stochastic block models, SBM)로 학습된 GDM의 역방향 확산 궤적(reverse diffusion trajectory)을 분석한 결과, 강력한 학습 데이터 바이어스(bias)를 발견했습니다. 즉, 모델(model)은 제외된 테스트 그래프에 비해 손상된 학습 그래프를 거의 완벽하게 복원합니다. 이러한 현상은 역방향 궤적이 손상된 학습 그래프에 조건화될 때만 나타나고 추론(inference) 중에는 드러나지 않으므로, 우리는 이를 조건부 암기(conditional memorization)라고 명명합니다. 이는 제외된 그래프에서의 손실(loss)이 악화되는 반면 학습 손실은 개선되는 일반화 격차(generalization gap)의 확대와 일치하며, 조기 종료(early stopping)로도 완화할 수 없습니다. 암기의 시작은 항상 생성된 그래프에서 커뮤니티 구조의 출현보다 앞서 발생하므로, 그보다 앞선 모든 체크포인트(checkpoint)는 구조가 없는 그래프만을 생성합니다. 이러한 동작은 우리가 테스트한 모든 노드 크기에 걸쳐 유지됩니다.

arXiv:2609.26855v3cs.LG공통 태그 Graph Neural Network, Graph Learning

QUARTET: 관계 그래프에서 트랜스포머를 강화하기 위한 4분기 교차 어텐션과 랜덤 워크 트레이스

QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs

관계 심층 학습(RDL)은 다중 테이블 데이터베이스를 이종 시간 그래프로 모델링하며, 그래프 트랜스포머는 RelBench와 같은 벤치마크에서 현재 최첨단 성능을 달성한다. 그러나 현재 선두 모델인 RelGT는 두 가지 핵심 한계가 있다. 무작위 로컬 샘플러가 느슨하게 연결된 부분 그래프를 만들어 메시지 전달을 방해하고, 전역 어텐션 모듈이 단일한 시드 특징 기반 메모리에만 의존해 더 넓은 거시적 수준의 역학을 놓친다. 이 한계를 극복하기 위해, 로컬 부분 그래프에 전체 셀프 어텐션을 적용하고 교차 어텐션 분기로 전역 문맥을 풍부히 하는 표현력 있는 그래프 트랜스포머 아키텍처 QUARTET을 제안한다. 구체적으로 QUARTET은 최근성 절단 개인화 PageRank(PPR)에 기반한 인과적 랜덤 워크(CRW) 샘플러로, 시간적 누출 없이 간결하고 허브-강건하며 밀집 연결된 로컬 부분 그래프를 추출한다. 동시에 4분기 교차 어텐션 모듈은 시드 특징, 시드 위상, 시간적 역학, 협력적 역학이라는 네 가지 상보적 관점에서 전역 문맥을 통합한다. RelBench v1 분류 과제 전반에서 QUARTET은 현재 최첨단 그래프 트랜스포머 기준선(HGT 및 RelGT)과 지속적으로 동등하거나 더 나은 성능을 보인다. 절제 연구는 CRW 샘플러가 로컬 이웃 품질을 크게 향상시키고, 전역 분기가 과제별로 필수적인 예측 이득을 제공함을 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.