균일한 분포에서 학습된 그래프 사전으로: 구조 발견을 위한 디퓨전
From Uniform to Learned Graph Priors: Diffusion for Structure Discovery
한국어 초록
신경망 관계 추론(Neural Relational Inference, NRI) 방법은 이산적인 잠재적 엣지에 대한 변분 추론을 통해 궤적에서 상호작용 그래프를 발견합니다. 그러나 이러한 방법들은 일반적으로 과도하게 단순화되고 인수분해된 그래프 사전(priors)에 의존합니다. 일반적으로 균일 분포에 가까운 이러한 사전들은 엣지를 독립적인 개체로 취급합니다. 이러한 체계적인 부정합은 실제 시스템과 일치하지 않으며, 구조 발견의 신뢰성을 제한하는 분산되고 불확실한 엣지 사후 분포(posteriors)를 야기합니다. 이를 해결하기 위해, 우리는 그래프를 생성하는 대신 잠재 그래프 분포를 보정하는 데 사용되는 디퓨전으로 파라미터화된 적응형 사전인 \textit{Diff-prior}를 제안합니다. 우리의 핵심 통찰은 사전 통합을 학습 가능한 디노이징 방식의 보정으로 재구성하는 것으로, 이는 흩어지고 불확실한 엣지 사후 분포를 디퓨전 모델이 학습할 수 있는 더 신뢰할 수 있는 전체 구조로 조직합니다. Diff-prior는 추론(inference) 중 엣지 사후 분포에 대해 구조화된 보정을 수행하여 이를 기저 구조에 더 가까운 분포로 안내하는 적응형 구조 사전을 학습합니다. diff-prior는 구조적 샘플링 이전에 작동하며 인코더 엣지 분포에 직접 디노이징 보정기로 작용하여, 구조화된 변수에 대한 일반적인 학습 패러다임을 제공합니다. 표준 벤치마크에 대한 실험은 우리의 프레임워크를 검증했으며, 결과는 Diff-prior가 구조 추론의 성능을 향상시키고 다양한 NRI 계열 아키텍처에서 더 확실한 엣지 사후 분포를 생성함을 나타냅니다. 코드는 https://github.com/Hardy158118/Diffprior에서 확인할 수 있습니다.
원문 초록
Neural relational inference (NRI) methods discover interaction graphs from trajectories through variational reasoning on discrete potential edges. However, these methods typically rely on oversimplified, factorized graph priors. Such priors, typically nearing uniform distributions, treat edges as independent entities. This systemic misalignment does not match the real-world systems and yields diffuse and indecisive edge posteriors limiting the reliability of structural discovery. To address this, we propose \textit{Diff-prior}, a diffusion-parameterized adaptive prior used to calibrate latent graph distribution rather than generate graphs. Our core insight is to reframe prior integration as a learnable denoising-style calibration that organizes scattered, uncertain edge posteriors into a more reliable overall structure which can be trained by the diffusion model. Diff-prior learns an adaptive structure prior that performs structured calibration on the edge posteriors during inference, guiding it towards a distribution closer to the underlying structure. The diff-prior operates before structural sampling and acts as a denoising calibrator directly on the encoder edge distribution, which provides a generic training paradigm over structured variables. Experiments on standard benchmarks validated our framework, and the results indicate that Diff-prior improves the performance of structure inference and generates more decisive edge posteriors across multiple NRI-family architectures. The code is available on https://github.com/Hardy158118/Diffprior.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11831v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
엣지 독립성이 실패할 때: 잠재 사회성 사전분포를 이용한 결합 그래프 디퓨전
When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors
이산 그래프 디퓨전 모델은 마르코프 노이즈 모델을 사용한 독립적인 엣지(edge) 업데이트를 통해 그래프 구조를 손상시킨다. 출력 분포에 대한 교환가능성(exchangeability) 요구 조건과 결합되면, 터미널 사전분포(prior)는 필연적으로 에르되시-레니(Erdős–Rényi, E-R) 랜덤 그래프가 된다. 이는 노드 특징(feature) 없는 비조건부 그래프 생성에 근본적인 결과를 초래한다: 큰 그래프의 극한에서, E-R 그래프에 적용된 모든 GNN 디노이저(denoiser)는 대략적으로 E-R 그래프를 출력하여, 효과적인 디노이징(denoising)을 어렵게 만든다. 실제로, 생성된 그래프는 의미 있는 노드 이질성(heterogeneity)과 고차 구조(higher-order structure)를 복원하지 못한다. 이전 모델들은 이를 보완하기 위해 전문화된 노드 특징을 도입했으며, 이를 표현력(expressivity) 문제로 간주했지만, 사전분포의 역할은 검토되지 않은 채로 남아 있었다. 우리는 대신 잠재 사회성 사전분포(Latent Sociability Prior, LSP)와, 잠재 노드 사회성(sociability) 변수와 그래프 구조를 함께 진화시키는 결합(joint) 디퓨전 프로세스를 도입하여 근본 원인을 해결하며, 교환가능성을 유지하면서 엣지 독립성을 제거한다. 기존의 잠재 그래프 디퓨전 방법들과 달리, 사회성 메커니즘은 복잡한 인코더(encoder)를 필요로 하지 않는다: 그 유일한 역할은 엣지 업데이트를 안내하고 궤적(trajectory) 전체에서 노드 이질성을 보존하는 것이다. 우리는 여러 그래프 생성 데이터셋에서 접근법을 검증하고, 제안된 프레임워크가 노드 특징이 없는 기준선(baseline) 방법들보다 그래프 분포를 더 정확하게 포착함을 보인다.
이산 그래프 확산 모델은 은밀하게 암기하고 있다
Your Discrete Graph Diffusion Model is Secretly Memorizing
이산 그래프 확산 모델(Discrete graph diffusion models, GDM)은 마르코프(Markovian) 노이즈 모델 하에서 노드(node)와 에지에 독립적으로 노이즈를 추가하여 그래프 구조를 손상시킵니다. 노드 특징이 없는 무조건부 설정에서, 단일 그래프로 학습(training)된 등변 노이즈 제거기(equivariant denoiser)는 새로운 그래프를 생성할 수 있으며 에지 겹침(edge overlap) 및 WL 커널(kernel) 유사도와 같은 샘플 수준의 지표에서는 암기의 증거를 찾을 수 없습니다. 본 연구에서는 이러한 관점에 이의를 제기하고, 그래프 확산 모델이 실제로 암기 현상을 보인다는 점을 최초로 입증합니다. 2-블록 확률적 블록 모델(stochastic block models, SBM)로 학습된 GDM의 역방향 확산 궤적(reverse diffusion trajectory)을 분석한 결과, 강력한 학습 데이터 바이어스(bias)를 발견했습니다. 즉, 모델(model)은 제외된 테스트 그래프에 비해 손상된 학습 그래프를 거의 완벽하게 복원합니다. 이러한 현상은 역방향 궤적이 손상된 학습 그래프에 조건화될 때만 나타나고 추론(inference) 중에는 드러나지 않으므로, 우리는 이를 조건부 암기(conditional memorization)라고 명명합니다. 이는 제외된 그래프에서의 손실(loss)이 악화되는 반면 학습 손실은 개선되는 일반화 격차(generalization gap)의 확대와 일치하며, 조기 종료(early stopping)로도 완화할 수 없습니다. 암기의 시작은 항상 생성된 그래프에서 커뮤니티 구조의 출현보다 앞서 발생하므로, 그보다 앞선 모든 체크포인트(checkpoint)는 구조가 없는 그래프만을 생성합니다. 이러한 동작은 우리가 테스트한 모든 노드 크기에 걸쳐 유지됩니다.
펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정
Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models
사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.
희소 데이터를 위한 스펙트럴 연결성 사전분포 그래프 학습
Graph Learning with Spectral Connectivity Priors for Scarce Data
희소 데이터로부터 희소 그래프를 학습하는 것은 실용적으로 중요하지만 도전적이다. 익스팬더(expander) 유사 그래프가 보여 주는 국소 희소성과 강한 전역 연결성의 바람직한 결합에 영감을 받아, 라플라시안 스펙트럴 사전분포 계열을 통합해 전역 연결성을 명시적으로 촉진하는 spectral connectivity-regularized graph learning(SCoGL) 프레임워크를 제안한다. 구체적으로 SCoGL은 목표 인접 행렬 $\mathbf{W}$에 대한 combinatorial-Laplacian-constrained graphical lasso(GLASSO) 목적함수에, 라플라시안 고유값으로부터 계산한 일반적인 연결성 사전분포를 더한다. 여러 대표적 연결성 사전분포에 대한 그래디언트를 유도하고, $\mathbf{W}$를 효율적으로 최적화하기 위해 Armijo 백트래킹을 사용하는 투영 경사하강법(PGD) 알고리즘을 개발한다. 실험 결과, 제안한 SCoGL 변형들이 그래프 복원을 개선하며, 신호 관측이 희소할 때 그래프 신호 노이즈 제거와 같은 하류 과제에서도 성능을 향상시킨다.
진화 변분 오토회귀 네트워크를 통한 이산 확산 모델
Discrete Diffusion Models via Evolving Variational Autoregressive Networks
기존 score 기반 확산 모델은 정규화된 밀도를 표현하지 않은 채 score만 학습하는 반면, 다루기 쉬운(tracable) 정규화 모델은 샘플링과 직접적인 가능도 평가를 모두 지원한다. 최근 텐서 네트워크 접근법은 이러한 표현을 제공하지만, 대체로 저차원 격자에 제한된다. 본 연구에서는 변분 오토회귀 네트워크로 정규화된 확률 분포를 매개변수화하는 이산 확산 모델을 제안한다. 명시적인 Markov jump 연산자가 순방향 노이징과 역방향 디노이징 역학을 지배하며, 정규화된 분포를 갖는 이산 확산 모델을 고차원 격자上的 스핀 시스템으로 확장한다. 이 프레임워크를 질서, 임계, 무질서 영역에 걸친 2차원·3차원 Ising 모델에 적용하여 자유 에너지, 에너지, 자화를 포함한 열역학량을 정확히 계산한다. 또한 Monte Carlo 샘플링과 통합하고, 적응형 확산 단계로 낮은 온도에서도 높은 수락률을 유지하면서 샘플 다양성을 높인다. 이 결과는 정규화된 확률 분포를 갖는 이산 확산 모델을 위한 신경망 프레임워크를 확립한다.
LADDER: 효율적 다중 홉 추론을 위한 그래프 가이드 확산 언어 모델
LADDER: Graph-Guided Diffusion Language Models for Efficient Multi-Hop Reasoning
그래프 검색-증강 생성(GraphRAG)은 구조화된 엔티티 토폴로지를 활용하여 복잡한 추론에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켜 왔다. 그러나 기존 프레임워크는 표준 자기회귀(autoregressive) 언어 모델에 크게 의존하며, 본질적인 순차 생성 특성이 전체 추론 효율을 심각하게 저해한다. 연속적인 병렬 정제(refine-in-parallel) 디코딩을 통해 대규모 병렬성을 제공하는 확산 언어 모델(DLM)에서 영감을 받아, 우리는 이산 공간에서 GraphRAG를 가속하는 것을 목표로 한다. 그러나 두 가지 과제로 인해 이는 결코 사소하지 않다. 첫째, 부분적으로 디노이즈된 초안은 매우 동적이고 불확실하여 동적 그래프 그라운딩(grounding)이 쉽지 않다. 둘째, 원시 디노이즈 상태는 본질적으로 노이즈가 많고 불안정하여, 동기식 그래프 검색과 다중 홉 집계는 계산 비용이 과도하다. 이를 위해 우리는 그래프 가이드 병렬 디코딩을 통해 확산 언어 모델링과 GraphRAG를 연결하는 새로운 프레임워크 LADDER를 제안한다. 구체적으로, (i) 부분 디노이즈 상태에서 목표 엔티티의 88%가 조기에 등장하며 최종 확정(commitment)이 평균 5.7–9.6스텝 앞당겨진다는 핵심 통찰에 기반하여, 이벤트 기반 자체 클로킹(self-clocking) 검색을 제안한다. 이 메커니즘은 그래프 연결 가능(graph-linkable) 엔티티 집합이 확장될 때만 그래프 검색을 동적으로 트리거하여, 학습된 게이트나 휴리스틱 임계값을 우회하는 비동기 자체 클로킹 정책을 만든다. (ii) 불완전 쿼리(incomplete-query) 그래프 전파 모듈은 전문 그래프 파운데이션 모델을 사용하여 새로 등장하는 엔티티 쿼리를 처리하고, 다중 홉 증거를 지속적으로 집계하여 병렬 예측을 선명하게 하고 전체 디코딩 수렴을 가속하도록 설계되었다. 세 가지 도전적인 다중 홉 QA 벤치마크에 대한 광범위한 실험에서 LADDER는 평균 정확 일치를 39.6%에서 45.2%로 높이면서 지연(latency)을 4.1배 감소시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.