SMGFM: 멀티모달 속성 그래프를 위한 스펙트럴 멀티모달 그래프 사전학습
SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs
한국어 초록
멀티모달 속성 그래프(MAG)는 그래프 토폴로지와 텍스트, 이미지 및 기타 모달리티로부터의 노드 의미론을 결합한다. 전통적인 그래프 학습은 토폴로지와 노드 특징을 결합하여 노드 의미론을 맥락화한다. 그러나 이러한 결합 설계는 구조 유도(structure-induced) 의미와 모달 고유(modality-intrinsic) 의미가 하위 작업에 서로 다르게 기여할 수 있는 MAG에서 문제가 된다. 구조 유도 의미는 매끄러운 토폴로지 변화를 통해 관계적 일관성을 촉진하는 반면, 모달 고유 의미는 균일하게 평활화되거나 정렬되어서는 안 되는 국소적이고 세밀한 구분을 종종 인코딩한다. 따라서 핵심 과제는 교차 모달 융합 전에 의미론적 역할을 식별하는 것이다. 이를 위해 그래프 주파수 변이를 사전 지식(prior)으로 활용하며, 저주파 성분은 토폴로지 일관 의미를 포착하고 고주파 성분은 모달 특이적 의미를 보존한다. 이 직관에 기반하여, 각 모달 특이적 노드 신호를 그래프 주파수 대역으로 분해하고 교차 모달 상호작용 전에 대역 수준의 의미론적 역할을 할당하는 스펙트럴 멀티모달 그래프 사전학습 프레임워크인 SMGFM을 제안한다. 구체적으로 SMGFM은 확장 가능한 Chebyshev 필터로 주파수 분해 모달 토큰을 구성하고, 토폴로지 조건부 라우팅을 통해 결합 신뢰도를 추정하며, 융합 전에 대역-모달 상호작용을 수행한다. 이 빈도 라우팅 목적 함수는 모달 특이적 경로를 보존하면서 매끄러운 합의 경로를 정렬하여, 공간 영역 얽힘과 균일한 교차 모달 정렬을 완화한다. MAG 데이터셋에서 수행된 광범위한 실험은 SMGFM이 그래프 수준 및 모달 수준 작업 전반에서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.
원문 초록
Multimodal-attributed graphs (MAGs) couple graph topology with node semantics from text, images, and other modalities. Traditional graph learning contextualizes node semantics by coupling topology with node features. However, this coupling design becomes troublesome in MAGs, where structure-induced and modality-intrinsic semantics may contribute differently to downstream tasks. Structure-induced semantics promote relational consistency through smooth topological variation, whereas modality-intrinsic semantics often encode local, fine-grained distinctions that should not be uniformly smoothed or aligned. Therefore, the key challenge is to identify semantic roles before cross-modal fusion. To this end, we leverage graph-frequency variation as a prior, where low-frequency components capture topology-consistent semantics and high-frequency components preserve modality-specific semantics. Based on this intuition, we propose SMGFM, a spectral multimodal graph pretraining framework that decomposes each modality-specific node signal into graph-frequency bands and assigns band-level semantic roles before cross-modal interaction. Concretely, SMGFM constructs frequency-resolved modality tokens with scalable Chebyshev filters, estimates their coupling reliability through topology-conditioned routing, and performs band-modality interaction before fusion. Its frequency-routed objectives align smooth consensus routes while preserving modality-specific routes, mitigating spatial-domain entanglement and uniform cross-modal alignment. Extensive experiments conducted on the MAG datasets demonstrate that SMGFM achieves state-of-the-art performance across graph-level and modality-level tasks.
요약
멀티모달 속성 그래프(MAG)에서 구조 유도 의미와 모달 고유 의미의 차이를 해결하기 위해, 그래프 주파수 변이를 사전 지식으로 활용하여 신호를 주파수 대역으로 분해하고 토폴로지 조건부 라우팅을 수행하는 스펙트럴 멀티모달 그래프 사전학습(pre-training) 프레임워크인 SMGFM을 제안한다. 이 방법은 다양한 MAG 데이터셋에서 그래프 및 모달 수준 작업에 대해 최첨단 성능을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12867v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
GraphSVR: 확산 MRI를 위한 q-공간 인지 그래프 기반 슬라이스-볼륨 정합
GraphSVR: q-Space--Aware Graph-Based Slice-to-Volume Registration for Diffusion MRI
확산강조영상(DWI)은 특히 시간 효율적인 프로토콜과 움직임이 발생하기 쉬운 피험자 집단에서 피험자의 움직임에 매우 취약합니다. 슬라이스-볼륨 정합(SVR)이 슬라이스 간 및 스택 간 불일치를 완화할 수 있지만, 확산 MRI는 확산 방향에 따른 대조도와 수십 개의 측정값을 공통 기준 좌표계 내에 정렬해야 하는 요구사항으로 인해 추가적인 복잡성을 유발하며, 실질적으로 4D 정합 문제를 낳습니다. 기존 접근 방식은 주로 순차적 모델링이나 쌍별 유사도에 의존하며, 희소한 그래디언트 샘플링이나 심한 움직임 환경에서 종종 성능이 저하됩니다. 본 연구에서는 DWI의 4D SVR 정합을 위한 q-공간 인지 그래프 기반 프레임워크인 GraphSVR을 소개합니다. GraphSVR은 획득 구조화된 그래프에서 슬라이스 그룹을 노드로 표현하며, 에지는 시간적 근접성, 공간적 슬라이스 기하구조, 확산 인코딩 관계를 인코딩합니다. 그래프 신경망은 전역적으로 일관된 스택 단위 강체 운동을 예측하며, 쌍을 이루는 정답 움직임 없이 해부학적 참조 영상만을 사용하여 자기지도, 제로샷(zero-shot) 방식으로 최적화됩니다. 제어 가능한 움직임 심각도와 그래디언트 희소성을 갖는 실제 획득 기반의 사실적인 재조합 시뮬레이션 및 완전 합성 확산 시뮬레이션 모두를 사용하여 GraphSVR을 평가합니다. 성능은 알려진 정답 변환 대비 그리드 오차(mm) 및 회전 오차를 사용하여 정량화됩니다. 심각한 움직임 하에서 GraphSVR은 표준 DWI 움직임 보정 방법인 FSL eddy에 비해 그리드 오차와 회전 오차를 73% 감소시키며, 가장 큰 개선 효과는 희소 방향 영역에서 관찰됩니다. 이러한 결과는 그래프 기반 추론을 통해 획득 구조를 명시적으로 모델링하는 것이 4D DWI 움직임 추정에서 견고성과 전역적 일관성을 향상시킨다는 점을 보여줍니다. 코드는 https://github.com/nogakertes/GraphSVR.git 에서 이용할 수 있습니다.
SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측
SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction
효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.
순환 펩타이드 앙상블에 대한 그래프 학습: 분자 앙상블 모델링 연구
Graph Learning on Ensembles of Cyclic Peptides: An Investigation of Molecular Ensemble Modeling
구조로부터 분자 특성을 예측할 때, 용액 속에서 많은 분자가 conformational ensemble(구조 앙상블)로 존재함에도 불구하고 종종 단일 대표 conformation(구조)을 사용한다. 본 연구는 EnsembleEGNN을 제안한다. 이는 분자 앙상블 기초 모델로, 먼저 공유된 Equivariant Graph Neural Network(EGNN) 레이어로 각 컨포머(conformer)를 인코딩한 다음, Set Attention Block으로 결과 컨포머 표현을 풀링하여 앙상블을 인코딩한다. CREMP(순환 펩타이드 앙상블 데이터셋)에서 마스크된 토큰 복원, 노이즈 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목적 함수를 사용하여 모델을 사전학습한다. CREMP-CycPeptMPDB 데이터셋에서 EnsembleEGNN을 처음부터 학습하면 완전히 실패한다($R^2=0.005$). 그러나 사전학습된 모델은 $R^2=0.477$ 및 Pearson $r=0.699$에 도달하여, 서열 전용 BERT 기준선($R^2=0.439$, Pearson $r=0.667$)을 능가한다. EnsembleEGNN이 BERT 서열 인코더와 end-to-end로 공동 학습되면, 하이브리드 모델은 $R^2=0.538$ 및 Pearson $r=0.737$로 더욱 향상된다. 이 결과는 conformational ensemble을 단일 열역학적으로 정보화된 임베딩으로 인코딩하면 순환 펩타이드 특성 예측이 향상됨을 보여준다.
반지도 텍스트 속성 그래프 증류
Semi-Supervised Text-Attributed Graph Distillation
텍스트 속성 그래프(Text-Attributed Graphs, TAGs)는 그래프 토폴로지와 풍부한 텍스트 의미론을 통합하는 표현력 있는 데이터 모델로 부상했다. 기존 TAG 표현 학습 방법은, 특히 대규모 언어 모델(LLM)과 함께 사용할 때 심각한 확장성 병목을 겪는다. 데이터 증류가 유망한 데이터 중심 해결책을 제공하지만, 기존 방법은 그래프와 텍스트 모달리티 간의 복잡한 상호작용을 포착하지 못하고, 반지도 설정에 내재된 레이블 부족 문제에 어려움을 겪으며, LLM 기반 후속 작업에 필요한 사람이 읽을 수 있는 텍스트 속성을 생성할 능력이 부족하다. 이러한 과제를 해결하기 위해, 우리는 Wasserstein Distance(WSD)에 의해 안내되는 통합 반지도 프레임워크 \algo{}를 제안한다. 실제 TAG에 대한 우리의 경험적 발견에 기반하여, \algo{}는 협력적 자기학습(collaborative self-training) 방식 내에서 이중 경로 인코더(그래프 인식 및 그래프 비인식)를 활용하는 그래프-텍스트 협력 인코딩 모듈을 도입하여, 신뢰할 수 있는 의사 레이블(pseudo-label)을 수확하고 상보적인 그래프-텍스트 특징을 융합한다. 또한, 우리는 이론적으로 정당화된 WSD 기반 그래프 스케치(sketching) 알고리즘과 비용 효율적인 LLM 텍스트 합성 모듈을 개발하며, 이는 클러스터 기반 키워드 추출을 활용하여 응축된 노드에 대해 일관되고 사람이 읽을 수 있는 요약을 생성한다. 벤치마크 데이터셋에 대한 광범위한 실험은 \algo{}가 GNN 및 LLM 기반 후속 작업 모두에서 최첨단(state-of-the-art) 성능-압축 트레이드오프를 달성하여, 효과적이고 효율적인 TAG 학습 또는 분석을 가능하게 함을 보여준다.
Masked Topology Modeling for Self-Supervised Learning on Parametric CAD
토론
이 논문과 연결된 포럼 글이 아직 없습니다.