PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.18387v2cs.LG

장거리 일반화를 위한 그래프 계층적 순환

Graph Hierarchical Recurrence for Long-Range Generalization

그래프 신경망(GNN)과 그래프 트랜스포머는 표현력 있는 표현 학습(representation learning)과 표본 효율적인 귀납적 편향(inductive bias)을 결합하여 그래프 학습의 핵심 축으로 자리 잡았습니다. 그러나 예측이 멀리 떨어진 그래프 영역 간의 상관관계에 의존하는 경우 근본적인 한계가 여전히 존재합니다. 본 연구에서는 입력 그래프와 풀링된 계층적 추상화를 공동으로 다루는 새로운 프레임워크인 Graph Hierarchical Recurrence(GHR)를 통해 이러한 한계를 해결합니다. 또한 기존 모델들이 테스트 인스턴스에서 학습(training) 중에 관찰된 거리를 초과하는 상호작용을 요구하는 범위 외 일반화(out-of-range generalization) 조건에서 더욱 급격히 성능이 저하됨을 보입니다. 최소한의 설계에도 불구하고, GHR은 테스트된 모든 메시지 패싱 백본의 성능을 일관되게 강화하여 장거리 의존성에서 견고한 성능을 보이고, 특히 범위 외 영역에서 두드러진 개선을 달성합니다. 광범위한 장거리 벤치마크 전반에 걸쳐, GHR은 여러 태스크에서 최고 수준(SOTA) 또는 이에 준하는 결과를 달성하며, 관찰된 상호작용 범위를 넘어 그래프 모델을 확장하는 효과적인 메커니즘으로 계층적 순환을 확립합니다.

arXiv:2305.06315v3cs.CG

NervePool: 심플리셜 풀링 층

NervePool: A Simplicial Pooling Layer

그래프 구조 데이터에 대한 심층 학습 문제에서 풀링 층은 다운샘플링, 계산 비용 절감, 과적합 최소화에 중요하다. 우리는 심플리셜 복합체(simplicial complex)로 구조화된 데이터를 위한 풀링 층 nervePool을 정의한다. 심플리셜 복합체는 정점과 모서리를 넘어 고차원 심플렉스(simplex)를 포함하는 그래프의 일반화이며, 이 구조는 고차 관계를 모델링할 때 더 큰 유연성을 제공한다. 제안하는 심플리셜 거칠게 만들기(coarsening) 방식은 정점 분할에 기반하며, 이를 통해 심플리셜 복합체의 계층적 표현을 생성하고 정보를 학습된 방식으로 축약한다. NervePool은 학습된 정점 클러스터 할당을 기반으로 하며, 결정적 방식으로 고차원 심플렉스의 거칠게 만들기로 확장한다. 실무에서는 풀링 연산이 일련의 행렬 연산으로 계산되지만, 위상학적 동기는 심플렉스의 star 합집합과 nerve complex에 기반한 집합론적 구성이다.

arXiv:2606.20932v1cs.LG

쉬프 신경망을 위한 계층적 풀링

Hierarchical Pooling for Sheaf Neural Networks

쉬프 신경망(Sheaf Neural Networks, SNN)은 스칼라 노드 신호를 스토크 값(stalk-valued) 신호로 대체하고 에지 전반의 호환성을 측정하기 위해 제한 맵(restriction map)을 사용함으로써 그래프 신경망(Graph Neural Networks, GNN)을 일반화한다. 인접 노드 특징들이 서로 유사해지도록 유도하는 표준 그래프 확산과 달리, 쉬프 확산(sheaf diffusion)은 제한 맵을 통해 일관성을 촉진하며 따라서 인접 노드 간의 보다 일반적인 관계를 모델링할 수 있다. 그러나 기존의 쉬프 신경 아키텍처는 주로 고정된 그래프 해상도에서 동작하며, 계층적 표현을 구축하기 위한 원칙적인 풀링 메커니즘을 제공하지 않는다. 본 논문에서는 로컬 스펙트럴 코어스닝(local spectral coarsening) 기반의 쉬프 인식 풀링 프레임워크인 계층적 쉬프 풀(Hierarchical Sheaf Pool, HiSP)을 소개한다. 그래프의 분할이 주어지면, HiSP는 클러스터 내부 쉬프 라플라시안(sheaf Laplacian)의 저주파 고유 모드(eigenmodes)에 세밀한 스토크 값 특징을 투영함으로써 각 거친 스토크를 구성한다. 이러한 로컬 모드들은 코체인 수준 연장 맵(cochain-level prolongation map)을 정의하며, 이를 통해 갈레르킨 연산자(Galerkin operator)를 거쳐 세밀한 쉬프 에너지를 거친 공간에서 표현할 수 있다. 나아가, 버려진 로컬 모드로 인한 절단 손실(truncation loss)과 투영된 연산자를 거친 쉬프로 표현함으로써 발생하는 실현 손실(realization loss)을 분리하여 코어스닝으로 인한 근사를 분석한다. 마지막으로, HiSP를 SNN과 호환되는 GNN 풀링 층으로 구현하고, 배칭(batching), 리프팅된 쉬프 라플라시안(lifted sheaf Laplacians), 계층적 아키텍처를 지원하는 PyG 구현을 제공한다.