PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05017v2cs.LG

그래프 신경망에서의 하이퍼파라미터 전이

Hyperparameter Transfer in Graph Neural Networks

그래프 신경망(GNN)에서의 하이퍼파라미터 전이(hyperparameter transfer)를 SGD, Adam, AdamW 옵티마이저 각각에 대해 이론적 스케일링 분석과 실험으로 검증한 연구로, 모델의 너비와 깊이가 증가해도 안정적인 특징 업데이트와 학습률 전이가 가능한 파라미터화 방법을 제시한다. 특히 그래프 구조에 특화된 첫 번째 레이어 보정 인수, 메시지 패싱(message passing) 정규화 전략, AdamW의 가중치 감쇠 공동 전이 등 GNN 스케일링을 위한 실용적인 방법론을 제공한다.

arXiv:2606.26873v2quant-ph

Weisfeiler-Leman 계층에서의 확장 가능한 메시지 패싱 양자 그래프 신경망

Scalable Message-Passing Quantum Graph Neural Networks in the Weisfeiler-Leman Hierarchy

메시지 패싱을 양자 회로 안에서 수행하고 순열 등변성과 Weisfeiler-Leman 계층의 원하는 표현력 수준을 보장하는 양자 그래프 신경망(QGNN) 프레임워크를 제안한다. 작은 그래프 사전학습과 다항 비용 readout으로 학습·확장성을 확보했으며, 일반 메시지 패싱으로 구별 불가한 CFI 그래프, QM9 분자 특성 예측, 외판원 문제(TSP)에서 최대 56큐비트 시뮬레이션으로 검증했다.

arXiv:2610.13724v1cs.LG

그래프 신경망을 활용한 상각 반사실적 예측

Amortized Counterfactual Prediction with Graph Neural Networks

반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.

arXiv:2610.13635v1cs.LG

PANDA: 사전 지식 기반 어텐션 이중 경로 아키텍처

PANDA: Prior-guided Attentional Dual-path Architecture

쌍별 상호작용(pairwise interaction)을 넘어 고차 관계(higher-order relation)를 모델링하기 위해 설계된 하이퍼그래프 신경망(Hypergraph Neural Network, HNN)은 일반적으로 고정된 구조적 가중치 또는 정규화된 어텐션에 의존한다. 고정 가중치는 이질적(heterophilic) 환경에서 잘못된 정보를 전파할 수 있으며, 정규화는 메시지 전달(message-passing) 프레임워크에서 하나의 송신자(sender)의 가중치를 높이면 동일한 집계 집합(aggregation set) 내 다른 송신자들의 가중치를 반드시 낮춰야 한다는 의미에서 어텐션 계수를 경쟁적으로 만든다. 본 연구의 주요 기여는 무방향 및 방향 설정 모두에 적용 가능한 2단계 메시지 전달 HNN을 위한 플러그인인 PANDA(Prior-guided AttentioNal Dual-path Architecture, 사전 지식 기반 어텐션 이중 경로 아키텍처)의 도입이다. 메인 경로(main path)는 학습된 수신자 정규화 어텐션과 구조적 인시던스(incidence) 사전 지식(prior) 사이를 보간(interpolate)하며, 비경쟁적인(정규화되지 않은) 보조 경로(auxiliary path)는 각 송신자가 자신만의 변환된 정보를 기여할 수 있도록 한다. 또한 고정된 구조적 계수를 사용할 경우, PANDA가 이전 연구들에서 채택된 특정 복소수 값 합성곱 연산자를 복원함을 보인다. 방향 및 무방향 설정에서 공간적(spatial) 및 스펙트럴(spectral) 방법을 포괄하는 네 가지 HNN에 걸쳐, PANDA를 적용하면 8개의 실세계 벤치마크 데이터셋에서 평균 5.18퍼센트포인트의 성능 향상을 얻는다. 코드는 https://github.com/jainris/panda 에서 확인할 수 있다.

arXiv:2607.26404v2cs.LG

메시지 패싱은 얼마나 중요한가? 신경망 그래프 회귀를 위한 GNN 층의 드롭인 연구

How Much Does Message Passing Matter? A Drop-In Study of GNN Layers for Neural Network Graph Regression

그래프 신경망(GNN)은 신경망 구조의 정확도를 예측하는 등 회귀 모델로서 널리 사용됩니다. 그러나 새로운 메시지 패싱(MP) 층들은 거의 독점적으로 분류(classification) 태스크를 중심으로 개발 및 벤치마킹되고 있으며, 회귀 파이프라인은 일반적으로 어블레이션 없이 단일 MP 층을 채택합니다. 본 연구에서는 그래프 수준의 회귀에서 MP 층의 선택이 얼마나 중요한지 묻습니다. 기존 4가지 GNN 회귀 모델의 아키텍처, 손실(loss), 학습(training) 방식을 고정한 채, 합성곱(convolutional), 동형성(isomorphism) 기반, 어텐션(attention) 기반 설계를 포괄하는 10가지 MP 구성을 대체 적용합니다. 그래프당 10개 미만에서 1,000개 이상의 노드, 수백 개에서 40만 개 이상의 샘플에 이르는 신경망 그래프의 11개 데이터셋에서 이를 평가하며, 순위 상관관계, 예측 오차, 상위 $k$개(top-$k$) 검색, 지연 시간 및 메모리를 측정합니다. MP 선택은 결과를 실질적으로 변화시키며, 최선의 선택은 그래프 크기, 학습 세트 크기 및 회귀 목표에 따라 달라짐을 발견했습니다. GEN, $k$-GNN, PNA와 같은 전통적인 층들은 더 낮은 비용으로 작은 아키텍처 그래프에서 어텐션 기반 층과 비슷하거나 뛰어난 성능을 보이는 반면, GATv2는 소수의 대형 그래프로 구성된 데이터셋에서 우수한 성능을 보입니다.

arXiv:2608.02709v2cs.LG

오버스쿼싱 탈출: 메시지 패싱 네트워크를 위한 주소 지정 가능하고 지지 인식형 전역 메모리

Escaping Oversquashing: Addressable and Support-Aware Global Memory for Message Passing Networks

가상 노드(virtual node)는 오버스쿼싱(oversquashing)에 대응하는 자연스러운 수단으로, 긴 메시지 패싱 경로를 2-홉(two-hop) 전역 경로로 대체한다. 그러나 많은 노드가 하나의 전역 상태를 공유할 때, 이 지름길은 그 자체로 병목이 될 수 있다. 본 연구에서는 이러한 전역 메모리의 두 가지 속성을 다룬다. 첫째, 주소 지정 가능성(addressability)이다: 상수 마진(margin) 주소 코드와 이 마진을 증폭시키는 비선형성 하에서, 곱셈적 쓰기/읽기 맵은 $O(\log M)$ 차원의 주소 코드만으로 $M$개의 선택 가능한 메모리 행을 제공한다. 크로스 어텐션(cross-attention) 슬롯과 제약된 $ELU+1$ 쌍선형(bilinear) 메모리 모두 이 조건을 만족한다. 둘째, 지지 인식(support awareness)이다: 정규화된 크로스 어텐션에는 잠재 쿼리(latent query)가 참조로 사용할 수 있는 자기 키(self-key)가 없다. 학습된 전용 앵커(private anchor)가 이 참조를 제공하여 읽기 값을 유계로 유지하고, 매칭된 소스 질량(source mass)의 강도를 드러낸다. 우리는 Two-Radius와 Tree-NeighborsMatch의 여러 인스턴스에서 이러한 속성들의 장점을 입증한다: 두 가지 주소 지정 가능한 구현 모두 깊이 $5$까지 제어된 과제들을 해결하는 반면, 비슷하거나 더 큰 크기의 풀링된 VN은 약 $10.6\%$에 도달한다.

arXiv:2605.18387v2cs.LG

장거리 일반화를 위한 그래프 계층적 순환

Graph Hierarchical Recurrence for Long-Range Generalization

그래프 신경망(GNN)과 그래프 트랜스포머는 표현력 있는 표현 학습(representation learning)과 표본 효율적인 귀납적 편향(inductive bias)을 결합하여 그래프 학습의 핵심 축으로 자리 잡았습니다. 그러나 예측이 멀리 떨어진 그래프 영역 간의 상관관계에 의존하는 경우 근본적인 한계가 여전히 존재합니다. 본 연구에서는 입력 그래프와 풀링된 계층적 추상화를 공동으로 다루는 새로운 프레임워크인 Graph Hierarchical Recurrence(GHR)를 통해 이러한 한계를 해결합니다. 또한 기존 모델들이 테스트 인스턴스에서 학습(training) 중에 관찰된 거리를 초과하는 상호작용을 요구하는 범위 외 일반화(out-of-range generalization) 조건에서 더욱 급격히 성능이 저하됨을 보입니다. 최소한의 설계에도 불구하고, GHR은 테스트된 모든 메시지 패싱 백본의 성능을 일관되게 강화하여 장거리 의존성에서 견고한 성능을 보이고, 특히 범위 외 영역에서 두드러진 개선을 달성합니다. 광범위한 장거리 벤치마크 전반에 걸쳐, GHR은 여러 태스크에서 최고 수준(SOTA) 또는 이에 준하는 결과를 달성하며, 관찰된 상호작용 범위를 넘어 그래프 모델을 확장하는 효과적인 메커니즘으로 계층적 순환을 확립합니다.

arXiv:2607.21607v1cs.AI

그래프 신경망의 깊이 인식 장거리 전파를 위한 스펙트럴 플로우 인증

Spectral Flow Certificates for Depth-Aware Long-Range Propagation in Graph Neural Networks

그래프 신경망(GNN)은 지역적 메시지 전달(message passing)을 통해 정보를 전파하지만, 그래프 위상(topology) 자체가 학습을 아무리 많이 해도 장거리(long-range) 과제를 해결하지 못하게 조용히 막을 수 있다. GNN을 새로운 그래프에 배포할 때, 현재는 학습이 시작되기 전에 그래프 구조가 먼 노드들 사이에서 정보가 충분히 멀리 전달될 수 있게 허용하는지를 알아낼 저비용 방법이 없다. 우리는 스펙트럴 플로우 인증(Spectral Flow Certificates, SFC)을 제안하여 이 공백을 해소한다. SFC는 그래프의 정규화(normalised) 라플라시안(Laplacian)으로부터 수 초 만에 계산되는 단일 스칼라 값으로, 모델 학습이나 라벨 데이터가 필요하지 않다. SFC는 그래프의 대수적 연결성(algebraic connectivity)과 선택된 메시지 전달 깊이(depth)를 하나의 숫자로 융합하여, 가용한 깊이 예산(depth budget) 내에서 중요한 스펙트럴 병목(spectral bottleneck)의 어느 정도를 통과할 수 있는지를 측정한다. 원시 스펙트럴 갭(spectral gap)과 달리 SFC는 정적이고 깊이와 무관(depth-agnostic)한 반면, SFC는 레이어 수가 증가함에 따라 적응하므로 깊이가 달라질 때 엄격히 더 많은 진단 정보를 담는다. 평균 유효 저항(average effective resistance)과 그래프 직경(graph diameter) 같은 고전적 구조 통계와 비교했을 때, SFC는 학습된 GNN의 장거리 정확도(long-range accuracy) 분산(variance)의 두 배 이상을 설명한다. 경로(path), 순환(cycle), 격자(grid), 정규 그래프(regular graph), 무작위 그래프(random graph)를 아우르는 25개의 합성 그래프 계열에 걸쳐, SFC는 어떤 기울기(gradient)도 계산하기 전에 학습된 정확도를 예측하며, 테스트된 모든 깊이에서 90% 이상의 설명력(explanatory power)을 달성한다. 동일한 예측 관계는 세 개의 독립적인 벤치마크(benchmark) 데이터셋(dataset)에서 추출한 150개의 실제 분자 그래프 위상에서도 성립하며, 이는 해당 결과가 합성 구조의 인공물(artefact)이 아님을 확인해 준다. 종합하면, 이러한 결과는 단일 고유값(eigenvalue) 계산만으로도 값비싼 학습 파이프라인에 투입하기 전에 위상(topology)에 의해 제한된 그래프를 표시하기에 충분하며, GNN 배포를 위한 원칙적인 1차 필터를 제공함을 보여준다.

arXiv:2607.01660v1cs.LG

Message Passing Based Two-Timescale Bayesian Learning for Joint Channel and Memory Hardware Impairments Tracking

대규모 MIMO 수신기의 하드웨어 손상(hardware impairments)이 채널 추정 성능을 저하시키는 문제를 해결하기 위해, RGRU(residual recurrent gated unit)로 인트라-슬롯 메모리 효과를 모델링하고 메시지 패싱 기반 이중-시간척도(two-timescale) 베이지안 딥러닝 프레임워크(MP-TTBDL)를 제안한다. 빠르게 변화하는 무선 채널에는 빠른-변화 마르코프 사전분포를, 느리게 드리프트하는 하드웨어 손상 파라미터에는 느린-변화 가우시안 마르코프 사전분포를 각각 할당하고, Turbo-OAMP와 DAMP를 반복적으로 교환하여 채널과 손상을 공동 추적함으로써 기존 보상기 기반 방법 대비 낮은 채널 추정 오차를 달성했다.

arXiv:2607.01553v1cs.LG

X-LogSMask: Expand Transformer for Graph-Structured Data

그래프 데이터의 희소하고 구조적인 상호작용에 맞지 않는 Transformer의 전방위 셀프어텐션(self-attention) 문제를 해결하기 위해, 대칭 정규화된 인접 행렬의 로그 변환값을 어텐션 로짓(attention logit)에 직접 주입하는 설명 가능한 다중 헤드 구조적 마스크 X-LogSMask를 제안한다. 각 어텐션 헤드에 인접 행렬의 서로 다른 거듭제곱을 할당해 단일 레이어에서 다중 홉(multi-hop) 정보 전파를 가능하게 하며, 20개 노드·엣지·그래프 수준 벤치마크 중 13개에서 최고 성능을 달성했다.

arXiv:2511.11046v3cs.LG

Enhancing Graph Representations with Neighborhood-Contextualized Message-Passing

Graph neural networks (GNNs) have become an indispensable tool for analyzing relational data. Classical GNNs are broadly classified into three variants: convolutional, attentional, and message-passing. While the standard message-passing variant is expressive, its typical pair-wise messages only consider the features of the center node and each neighboring node individually. This design fails to incorporate contextual information contained within the broader local neighborhood, potentially hindering its ability to learn meaningful relationships within the entire set of neighboring nodes. To address this, the paper first refines the concept of neighborhood-contextualization within GNNs, leveraging ideas from set-based aggregation methods and a key property of the attentional variant. This then serves as the basis for generalizing the message-passing variant to the proposed neighborhood-contextualized message-passing (NCMP) framework. To demonstrate its utility, a simple, mathematically grounded method to parametrize and operationalize NCMP is presented, leading to the development of the proposed Soft-Isomorphic Neighborhood-Contextualized Graph Convolution Network (SINC-GCN). Across a diverse set of synthetic and benchmark datasets, SINC-GCN strikes a highly favorable balance between expressivity and efficiency. Notably, while more complex models incur significant computational overhead, SINC-GCN delivers substantial performance gains with considerable effect sizes over baseline GNN models while maintaining a highly efficient asymptotic runtime complexity, further underscoring the distinctive utility of neighborhood-contextualization. Overall, by integrating multiset neighborhood context, the proposed NCMP framework serves as a practical and scalable path toward enhancing the graph representational power of classical GNNs.

arXiv:2507.23604v2cs.LG

Hierarchical Message-Passing Policies for Multi-Agent Reinforcement Learning

Decentralized Multi-Agent Reinforcement Learning (MARL) methods allow for learning scalable multi-agent policies, but suffer from partial observability and induced non-stationarity. These challenges can be addressed by introducing mechanisms that facilitate coordination and high-level planning. Specifically, coordination and temporal abstraction can be achieved through communication (e.g., message passing) and Hierarchical Reinforcement Learning (HRL) approaches to decision-making. However, optimization issues limit the applicability of hierarchical policies to multi-agent systems. As such, the combination of these approaches has not been fully explored. To fill this void, we propose a novel and effective methodology for learning multi-agent hierarchies of message-passing policies. We adopt the feudal HRL framework and rely on a hierarchical graph structure for planning and coordination among agents. Agents at lower levels in the hierarchy receive goals from the upper levels and exchange messages with neighboring agents at the same level. To learn hierarchical multi-agent policies, we design a novel reward-assignment method based on training the lower-level policies to maximize the advantage function associated with the upper levels. Results on relevant benchmarks show that our method performs favorably compared to the state of the art.

arXiv:2606.28573v1cs.LG

다중 인덱스 모델 하에서 경험적 위험 최소화의 복제 대칭 파괴와 알고리즘 임계값

Replica Symmetry Breaking and Algorithmic Thresholds in Empirical Risk Minimization under Multi-Index Model

현대 머신러닝 모델은 고차원 비볼록 경험적 위험 함수를 최적화하여 학습된다. 이러한 비용 함수는 수많은 지역 최적점을 가질 수 있음에도 불구하고, 그래디언트 기반 최적화는 전역 최적점에 가까운 값으로 수렴하는 것처럼 보인다. 단순한 지도학습 설정 내에서, 우리는 다항 시간 알고리즘으로 접근 가능한 경험적 위험 지형의 영역을 정밀하게 규명한다. 우리는 $\boldsymbol{x}_i\in \mathbb{R}^d$인 표준 가우시안 특징 벡터와, $\boldsymbol{x}_i$의 미지의 $k$차원 부분공간으로의 투영에 의존하는 반응 변수 $y_i\in\mathbb{R}$로 구성된 i.i.d. 쌍 $\{(\boldsymbol{x}_i,y_i):\; 1 \le i\le n\}$이 주어진다. 우리는 데이터의 $m$차원 투영에 의존하는 모델(예: $m$개의 뉴런을 가진 신경망)을 학습하기 위해 경험적 위험 최소화를 사용한다. 우리는 점진적 근사 메시지 전달(IAMP) 알고리즘을 제안하고, $n/d\to\alpha\in (0, +\infty)$를 만족하는 고차원 점근 체계 $n,d\to\infty$에서 해당 알고리즘이 달성하는 학습 오차와 테스트 오차 및 학습 오차 간의 관계를 정밀하게 특성화한다. 관련 모델에 대한 선행 연구를 바탕으로, 우리 알고리즘이 달성하는 성능이 다항 시간 알고리즘 중 최적임을 기대한다.

arXiv:2606.22462v1cs.LG

그래프 테스트 타임 연산을 위한 적응형 순환 메시지 전달

Adaptive Recurrent Message Passing for Test Time Computing on Graphs

사전학습(pre-training) 기반 모델(foundation model)은 다양한 도메인에서 뛰어난 성과를 보여 왔으며, 단일 백본이 다양한 다운스트림 과제에 일반화할 수 있게 한다. 그러나 이 패러다임을 그래프 학습(graph learning)으로 확장하는 것은 그래프 데이터와 고정된 아키텍처 설계 간의 본질적 불일치로 인해 여전히 어렵다. 본 연구에서는 순환 그래프 모델(recurrent graph model)을 통해 이 한계를 극복할 수 있음을 보인다. 이를 위해 체계적인 이론 분석을 수행하고, 적응적으로 수렴하는 순환 과정을 위해 단계 의존성(step dependence)이 필요충분 조건임을 엄밀하게 도출한다. 이 기반 위에서 AdaR(Adaptive Recurrent graph model)을 제안하며, 모델 파라미터를 변경하지 않고도 다양한 다운스트림 과제에서 유연한 테스트 타임 연산(test-time computing)을 가능하게 한다. 적응형 추론(inference)을 위해 AdaR은 정규화(normalization)된 단계 정보와 표현-목표(representation-target) 관계를 순환 업데이트에 명시적으로 인코딩한다. 순환 과정의 수렴(convergence)을 보장하기 위해 AdaR은 그래디언트(gradient) 기반 지도 신호를 사용하여 순환 전반에 걸친 표현 업데이트를 안내한다. 실험 결과는 AdaR이 귀납(inductive) 및 전도(transductive) 설정 모두에서 강력한 베이스라인을 일관되게 능가함을 보여준다.

arXiv:2606.21333v1cs.LG

비음 저항 곡률을 활용한 라마누잔 그래프 리와이어링

Ramanujan Graph Rewiring with Non Negative Resistance Curvature

그래프 신경망(GNN)은 엣지를 통해 정보를 반복적으로 전파하고 집계함으로써 그래프 구조 데이터에서의 학습을 위한 강력한 패러다임으로 부상했습니다. 그러나 기존의 메시지 패싱(message passing) 방식은 오버-스쿼싱(over-squashing) 문제를 겪는 경우가 많은데, 이는 지수적으로 큰 이웃 정보가 고정 차원의 임베딩으로 압축되어 장거리 의존성 학습을 방해하는 현상입니다. 본 연구에서는 라마누잔 그래프(Ramanujan graph)를 활용하여 GNN의 위상적 병목을 완화하는 그래프 리와이어링(graph rewiring) 전략인 Ramanujan Propagation을 제안합니다. 먼저, 적절히 선택된 라마누잔 그래프가 비음 저항 곡률(non-negative resistance curvature)을 보장함을 증명하며, 이를 통해 오버-스쿼싱이 완화되고 효율적인 정보 흐름이 촉진됨을 보입니다. 이어서 원래 그래프의 지역 연결성을 보존하면서 라마누잔 리와이어링 그래프를 구성하는 알고리즘 프레임워크를 제안합니다. 실험 결과, 본 방법은 9가지 최신 리와이어링 기법보다 우수한 성능을 달성했습니다. 이러한 결과는 라마누잔 그래프가 GNN에서 확장 가능하고 위상 인식적인 메시지 패싱을 위한 엄밀한 구조적 사전(structural prior)으로 기능함을 입증합니다.

arXiv:2606.18317v1cs.LG

K-Hop 가우시안 확산을 이용한 향상된 그래프 신경망

Enhanced Graph Neural Networks using K-Hop Gaussian Diffusion

노이즈가 많거나 구조가 복잡한 그래프에서 단일 홉 메시지 전달과 기존 확산 커널(PPR, Heat Kernel)의 한계를 줄이기 위해, 원격 노드에 가우시안 가중치를 적용한 멀티 홉 확산 K-Hop 가우시안(KHG) 커널을 그래프 전처리 모듈로 제안한다. 표준 GNN 적용 전 국소·전역 정보 전파의 균형을 맞추며, 여러 벤치마크 데이터셋에서 메시지 전달 GNN과 PPR·Heat 확산보다 특히 노이즈·복잡 구조 그래프에서 유의미하게 우수한 성능을 보였다.