arXiv:2609.30277v2 cs.LG

고정된 확산 없는 고정점: 수렴하는 테스트 시점 연산을 위한 암시적 신경 층

Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation

Rémi Bourgerie, Šarūnas Girdzijauskas, Viktoria Fodor

제출 2026-08-12

저자 비고

arXiv Comments

Accepted at the 5th Learning on Graphs Conference (LoG 2026)

한국어 초록

암시적 그래프 신경망(IGNN)은 노드 표현을 그래프 신경 연산자의 고정점(fixed point)으로 정의하여 실질적으로 무한한 깊이의 전파, 반복(iteration) 독립적인 매개변수화, 유연한 테스트 시점 연산(test-time computation)을 가능하게 합니다. 그러나 이러한 이점은 평형점이 유일하며 고정점 반복을 통해 도달할 수 있는지 여부에 달려 있습니다. 기존의 구조들은 이러한 보장을 얻기 위해 순환 업데이트에 제약을 가하는 경우가 많아 평형 상태에서 사용 가능한 변환을 제한했습니다. 이는 핵심적인 질문을 제기합니다: IGNN이 평형 정식화의 고유한 강점을 유지하면서 더 풍부한 엣지 의존적 변환을 통해 표현력을 얻을 수 있을까요? 본 논문에서는 적응형 신경 층(neural-sheaf) 전파를 갖춘 준동차(subhomogeneous) 심층 평형 아키텍처인 SheafDEQ를 소개합니다. 학습된 행렬 값 층 제한 사상(sheaf restriction map)은 이웃한 표현들을 정렬, 혼합 또는 반전시킬 수 있습니다. 완만한 정칙성 조건 하에서, SheafDEQ가 임의의 양의 초기 상태로부터 고정점 반복을 통해 전역적으로 도달 가능한 유일한 평형점을 가짐을 증명합니다. 나아가 축약성(contractivity)은 유계된 통신 지연(staleness) 하에서도 수렴을 보장합니다. 본 연구는 반복적인 비국소적 집계가 필요한 분산 추론(inference) 태스크와 연결 재구성이 점차 커뮤니티 간 상호작용을 선호하게 되는 커뮤니티 탐지 태스크에서 SheafDEQ를 평가합니다. SheafDEQ는 Sums, MNIST Terrain, Coordinates 태스크 및 연결성이 점차 이종친화적(heterophilic)으로 변하는 커뮤니티 탐지에서 암시적 베이스라인보다 향상된 성능을 보입니다. 또한 SheafDEQ는 평형 보장이 없는 순환 모델들과 비교해도 경쟁력을 유지합니다. 연속 반복 진단 결과 유한 구간(finite-horizon) 대조군과 달리 100회 반복까지 잔차가 감소하고 테스트 정확도가 유지됨을 확인하였으며, 지연 업데이트 실험에서는 유계된 통신 지연에 대해 낮은 민감도를 나타냈습니다.

원문 초록

Implicit Graph Neural Networks (IGNNs) define node representations as fixed points of graph neural operators, enabling effectively infinite-depth propagation, iteration-independent parameterization, and flexible test-time computation. Yet these benefits depend on the equilibrium being unique and reached by fixed-point iteration. Existing constructions often impose constraints on recurrent updates to obtain these guarantees, limiting the transformations available at equilibrium. This raises a central question: can IGNNs gain expressiveness through richer, edge-dependent transformations while retaining the inherent strengths of their equilibrium formulation? We introduce SheafDEQ, a subhomogeneous deep-equilibrium architecture with adaptive neural-sheaf propagation. Its learned, matrix-valued sheaf restriction maps can align, mix, or reverse neighbouring representations. Under mild regularity conditions, we prove that SheafDEQ admits a unique equilibrium reached globally by fixed-point iteration from any positive initial state. Contractivity further guarantees convergence under bounded communication staleness. We evaluate SheafDEQ on distributed-inference tasks requiring repeated nonlocal aggregation and on community detection whose rewiring increasingly favours cross-community interactions. SheafDEQ improves over implicit baselines on Sums, MNIST Terrain, and Coordinates, and on community detection as connectivity becomes increasingly heterophilic. SheafDEQ remains competitive with recurrent models without equilibrium guarantees. Continued-iteration diagnostics show decreasing residuals and retained test accuracy through 100 iterations, unlike the finite-horizon control, while delayed-update experiments show low sensitivity to bounded communication staleness.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.30277v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01533v1cs.AI공통 태그 Clustering, Graph Neural Network

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2607.21941v1cs.LG공통 태그 Clustering, Graph Neural Network

LatentFlow: 분자 그래프 신경망의 잠재 공간 분석을 위한 시각 분석

LatentFlow: Visual Analytics for Latent Space Analysis in Molecular Graph Neural Networks

화학자와 재료 과학자들은 분자의 성질과 반응 결과를 예측하기 위해 그래프 신경망(GNN)과 같은 머신러닝 모델을 점점 더 많이 사용하고 있다. 예측 성능을 넘어, 이러한 모델이 잠재 공간, 즉 분자의 임베딩(embedding) 내부에서 화학 정보를 어떻게 조직하는지 이해하는 것이 중요하다. 잠재 공간 분석은 모델 동작을 진단하고, 학습된 임베딩이 의미 있는 화학적 관계를 반영하는 방식으로 조직되어 있는지 평가하는 데 도움이 된다. 불행히도, 기존 방법들은 층과 다양한 모델 상태(예: 학습 에포크, 모델 구성, 입력 데이터)에 걸친 잠재 공간 분석을 제한적으로만 지원하여, 이러한 잠재 공간이 모델 전반에 걸쳐 어떻게 진화하는지 또는 화학적 개념과 어떻게 연관되는지 이해하기 어렵다. 우리는 분자 GNN의 잠재 공간을 분석하기 위해 도메인 전문가와 협력하여 개발한 시각 분석 시스템인 LatentFlow를 제시한다. LatentFlow는 임베딩을 클러스터로 그룹화하고, 수정된 Sankey 다이어그램을 사용하여 층과 모델 상태에 걸쳐 이러한 클러스터가 어떻게 변하는지 추적함으로써 잠재 공간의 탐험을 지원한다. 해석을 지원하기 위해 LatentFlow는 이러한 클러스터를 대표 분자와 그들의 공유 부분구조에 연결하고, 과학자들이 자신의 도메인 지식을 도입하여 잠재 공간에서 발견된 패턴과 비교할 수 있게 한다. 우리는 두 가지 사례 연구를 통해 LatentFlow를 평가한다. 결과는 LatentFlow가 과학자들이 잠재 공간이 어떻게 진화하는지 이해하고, 의미 있는 분자 패턴을 식별하며, 모델 동작을 더 잘 해석하도록 돕는다는 것을 보여준다.

arXiv:2607.21779v1physics.chem-ph공통 태그 Clustering, Graph Neural Network

공변 직접 분자 힘 학습을 통한 그래프 이론적 신경망 분할: 플럭셔널 계에서 결합 클러스터 정확도 AIMD 실현

Graph-Theoretic Neural Network Fragmentation with Covariant Direct Molecular Force Learning: Enabling Coupled-Cluster Accuracy AIMD for Fluxional Systems

복잡하고 플럭셔널(fluxional)한 화학 계에 대한 정확한 ab initio 분자 동역학(AIMD) 시뮬레이션은 상관 전자 구조 방법의 높은 계산 스케일링으로 인해 심각하게 제한된다. 이 병목을 극복하기 위해, 우리는 기계학습과 통합된 견고한 그래프 이론적 분자 분할 프레임워크를 제시하며, 이를 통해 결합 클러스터(coupled cluster) 정확도로 Hartree-Fock 이후 핵력을 직접 모델링한다. 학습된 에너지 표면에 대한 자동 미분이 link-atom Jacobian에서 어려움을 겪을 수 있는 한계를 우회하여, 본 접근법은 핵력 벡터를 직접 예측한다. 이 벡터들을 단편(fragment) 고정 관성 주축에 투영함으로써, 회전·병진·치환 불변성을 자연스럽게 보존하는 공변(covariant) 기술자(descriptor)를 확립한다. 이 방법론은 학습 가능 매개변수를 한 자릿수 이상 줄이는 벡터값 학습 프로토콜을 통해 탁월한 매개변수 효율을 달성하며, 비지도 미니배치 k-means 공간 테셀레이션 알고리즘이 참조 구성(configuration)의 10%에서 20%만을 사용하여 매우 대표적인 학습 데이터베이스를 구성한다. 우리는 고도로 플럭셔널한 용매화 Zundel 양이온 H_{13}O_6^+에 대해 이 프레임워크를 엄격하게 검증했다. 완전히 기계학습으로 예측된 AIMD 궤적은 방사형 분포 함수(radial distribution function)와 속도 자기상관(velocity autocorrelation) 파워 스펙트럼을 포함한 복잡한 동역학적 특징과 핵심 구조적 특성을 성공적으로 재현했다. 궁극적으로, 이 확장 가능하고 체계적으로 개선 가능한 프레임워크는 고수준 상관 파동함수 이론과 장시간 스케일 반응성 샘플링 사이의 격차를 메우며, 현대 화학 동역학 시뮬레이션에서 LLM에서 영감을 받은 고급 전이학습(transfer learning)의 기반을 마련한다.

arXiv:2607.20896v1cs.LG공통 태그 Clustering, Graph Neural Network

HierarchicalDAEW: H&E 조직병리학으로부터 다중 섹션 공간 유전자 발현 예측을 위한 증거적 불확실성을 갖춘 도메인 인식 엣지 가중 그래프 합성곱

HierarchicalDAEW: Domain-Aware Edge-Weighted Graph Convolution with Evidential Uncertainty for Multi-Section Spatial Gene Expression Prediction from H&E Histology

공간 전사체학(spatial transcriptomics) 분석은 여전히 비용이 많이 들고 기술적으로 까다로워, 전사체 전체 프로파일링을 전문 환경에만 국한시키고 일상적인 임상 적용을 막고 있다. H&E 조직병리학으로부터 공간적으로 분해된 유전자 발현을 예측하면 이 격차를 메울 수 있지만, 현재 방법들은 대체로 기저 조직 구조를 무시하고 예측을 얼마나 신뢰할 수 있는지 거의 정량화하지 않는다. 우리는 HierarchicalDAEW를 제안하며, 이는 두 격차를 모두 해결하는 이중 그래프 아키텍처이다. spot 그래프에서는 도메인 인식 엣지 가중 합성곱 연산자가 Leiden 클러스터링에서 도출된 도메인 간, 도메인 내, 경계 엣지에 대해 별도의 투영을 학습하여, 모델이 조직 이질성을 암묵적 신호가 아니라 명시적 구조적 신호로 다루게 한다. 두 번째 유전자 수준 그래프는 STRING-DB의 단백질-단백질 상호작용 사전(prior)과 조직 특이적 공발현을 학습된 어텐션 게이팅으로 융합하여, 랜드마크 유전자 집합에서 더 넓은 유전자 패널로 예측을 전파한다. 신뢰성은 증거적 불확실성 추정(evidential uncertainty estimation)으로 처리되며, 동일한 조건에서 Monte Carlo 드롭아웃보다 훨씬 더 잘 보정된 신뢰구간을 산출한다. 유방, 대장, 전립선, 소뇌 조직에 걸친 6개의 human Visium 섹션과 13개의 공개 베이스라인을 대상으로 한 결과, HierarchicalDAEW는 실측 발현과 가장 강한 상관을 달성했으며, 다중 시드 재현성 검증과 위치적 지름길을 배제하는 음성 대조군에서도 이득이 유지된다. Ablation은 도메인 인식 엣지 유형화와 계층적 깊이가 모두 이 개선에 필요함을 추가로 확인했으며, 보정된 불확실성 추정은 임상 조치 전 병리의사 검토를 위해 낮은 신뢰도 예측을 식별한다.

arXiv:2607.21039v1cs.LG공통 태그 Clustering, Community Detection

Grassmann 다양체 상의 정규화 최적화: 이론, 알고리즘 및 응용

Regularized Optimization on Grassmann Manifold: Theory, Algorithm and Applications

스펙트럴 방법은 커뮤니티 탐지, 클러스터링, 그래프 학습에서 가장 널리 사용되는 기법 중 하나이다. 그러나 그 성능은 근본적인 스펙트럴 부분공간의 정확한 추정에 크게 의존하며, 노이즈, 이상치, 또는 모델 교란이 존재할 경우 상당히 악화될 수 있다. 이 한계를 해결하기 위해, 우리는 rank-$K$ 투영 행렬의 강건한 추정을 위한 정규화 투영 행렬 근사(Regularized Projection Matrix Approximation, RPMA) 프레임워크를 제안한다. RPMA는 정규화 항을 통합하여 고전적인 스펙트럴 투영을 확장하며, 더 강건하고 희소하며 해석 가능한 투영 추정치를 생성한다. 우리는 제안된 모델을 rank-$K$ 투영 행렬의 다양체 상의 최적화 문제로 공식화하고, Grassmann 다양체와의 기하학적 동등성을 활용한다. 이 다양체 특성화를 바탕으로, 1차 및 2차 최적성 조건을 유도하고, 정규화된 선행 고유공간의 국소 안정성을 확립하며, 충분히 작은 정규화 하에서 임계점 경관의 안정성을 특성화한다. 결과적인 비볼록 최적화 문제를 효율적으로 풀기 위해, 역추적 선 탐색(backtracking line search)을 갖춘 Riemann 그래디언트 투영 알고리즘과, 반복적인 고유값 분해를 피하는 보다 효율적인 Cayley--Sherman--Morrison--Woodbury(Cayley--SMW) 그래디언트 방법을 개발한다. 합성 및 실제 데이터셋에 대한 광범위한 실험은 RPMA가 투영 행렬의 복원 정확도를 크게 향상시키며, 노이즈가 있는 환경에서 커뮤니티 탐지 및 클러스터링을 위한 기존 스펙트럴 투영 방법보다 일관되게 우수한 성능을 보임을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.