TopoFormer: 그래프 학습을 위한 위상수학과 어텐션의 결합
TopoFormer: Topology Meets Attention for Graph Learning
한국어 초록
우리는 위상학적 구조를 어텐션 친화적인 시퀀스로 인코딩하는 그래프 표현 학습(graph representation learning)을 위한 경량화되고 확장 가능한 프레임워크인 Topoformer를 소개합니다. 제안하는 방법의 핵심은 노드(node) 또는 에지 여과(edge filtration)를 슬라이싱하여 그래프를 짧고 정렬된 위상 토큰(topological token) 시퀀스로 분해하는 새로운 모듈인 Topo-Scan입니다. 이러한 시퀀스는 국소 모티프부터 전역적 구조에 이르는 다중 스케일 구조 패턴을 포착하며, 트랜스포머(Transformer)를 통해 처리되어 표현력이 뛰어난 그래프 수준 임베딩(embedding)을 생성합니다. 기존의 지속성 호몰로지(persistent homology) 파이프라인과 달리, Topo-Scan은 병렬화가 가능하고 비용이 많이 드는 다이어그램 계산을 피하며 표준 심층 학습(deep learning) 아키텍처와 매끄럽게 통합됩니다. 우리는 위상학적 인코딩의 안정성에 대한 이론적 보장을 제공하며, 그래프 분류(classification) 및 분자 특성 예측 벤치마크 전반에서 최고 수준의 성능을 입증합니다. 실험 결과는 Topoformer가 예측 가능하고 효율적인 연산을 제공하는 동시에 강력한 GNN 및 위상수학 기반 베이스라인과 대등하거나 이를 능가함을 보여줍니다. 본 연구는 위상학적 귀납적 편향(topological inductive bias)을 어텐션 프레임워크에 통합하여, 병렬화 가능하고 통합적인 그래프 표현 학습 접근법을 위한 새로운 길을 제시합니다.
원문 초록
We introduce Topoformer, a lightweight and scalable framework for graph representation learning that encodes topological structure into attention-friendly sequences. At the core of our method is Topo-Scan, a novel module that decomposes a graph into a short, ordered sequence of topological tokens by slicing over node or edge filtrations. These sequences capture multi-scale structural patterns, from local motifs to global organization, and are processed by a Transformer to produce expressive graph-level embeddings. Unlike traditional persistent homology pipelines, Topo-Scan is parallelizable, avoids costly diagram computations, and integrates seamlessly with standard deep learning architectures. We provide theoretical guarantees on the stability of our topological encodings and demonstrate state-of-the-art performance across graph classification and molecular property prediction benchmarks. Our results show that Topoformer matches or exceeds strong GNN and topology-based baselines while offering predictable and efficient compute. This work opens a new path for parallelizable and unifying approaches to graph representation learning that integrate topological inductive biases into attention frameworks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.28259v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.