GLIP: 그래프 수준 작업을 위한 그래프와 LLM 공동 사전학습
GLIP: Graph and LLM Joint Pretraining for Graph-Level Tasks
한국어 초록
그래프는 소셜 네트워크, 금융, 바이오메디컬 등의 분야에서 관계형 시스템을 모델링하는 데 널리 활용된다. 그래프 신경망(GNN)은 그래프 표현 학습의 주류 접근법으로 자리잡았으며, 대규모 언어 모델(LLM)의 부상과 함께 최근 연구들은 GNN과 LLM을 결합하려는 시도를 해왔다. 그러나 기존 연구의 대부분은 노드 수준 및 엣지 수준 작업에 집중되어 있으며, 더 복잡한 구조적·특징 정보를 포착해야 하는 그래프 수준 작업은 상대적으로 덜 탐구되어 있다. 또한 그래프 사전학습은 레이블 부족 문제를 완화하기 위한 널리 채택된 전략이지만, GraphCL과 같은 기존 접근법의 대부분은 GNN만을 위해 설계되어 LLM은 이 과정에 참여하지 않는다. 이러한 한계를 해결하기 위해, 우리는 그래프 수준 작업을 위한 그래프-LLM 공동 사전학습 프레임워크인 GLIP을 제안한다. GLIP은 먼저 그래프 증강(augmentation)을 수행하여 양성 및 음성 쌍을 구성하고, 구조와 특징 모두에서 유익한 패치를 식별하기 위한 다중 토큰 선택 전략을 도입한다. 또한 확산 기반 프로젝터를 활용하여 해당 패치들을 문맥 정보로 풍부하게 하여, GLIP이 전역 및 지역 관점 모두에서 신호를 포착할 수 있도록 한다. 마지막으로, GLIP은 LLM의 의미적 판단과 대조적 정렬 손실(contrastive alignment loss)을 통합하는 공동 목적 함수를 사용하여 의미적 및 구조적 수준 모두에서 일관된 지도 학습을 보장한다. 사전학습 후 GLIP은 제한된 레이블 데이터로 다운스트림 작업에 파인튜닝되며, 광범위한 실험을 통해 그래프 수준 분류 및 추론 작업에서 최신 기법들을 능가함을 입증한다. 소스 코드는 https://anonymous.4open.science/r/GLIP 에서 공개되어 있다.
원문 초록
Graphs are widely used to model relational systems, with applications in domains such as social networks, finance, and biomedicine. Graph neural networks (GNNs) have become a mainstream approach for learning graph representations. With the rise of large language models (LLMs), recent studies have attempted to combine GNNs with LLMs. However, most existing works concentrate on node-level and edge-level tasks, while graph-level tasks, which require capturing more complex structural and feature information, remain relatively underexplored. Moreover, graph pretraining is a widely adopted strategy to alleviate the challenge of label scarcity. Most existing approaches are designed solely for GNNs such as GraphCL, leaving LLMs uninvolved in the process. To address these limitations, we propose GLIP, a Graph-LLM JoInt Pretraining framework for graph-level tasks. GLIP first performs graph augmentation to construct positive and negative pairs and introduces a multi-token selection strategy to identify patches informative in both structure and features. It further leverages a diffusion-based projector to enrich them with contextual information, enabling GLIP to capture signals from both global and local perspectives. Finally, GLIP employs a joint objective that integrates the LLM's semantic judgments with a contrastive alignment loss, ensuring consistent supervision at both the semantic and structural levels. After pretraining, GLIP is fine-tuned with limited labeled data for downstream tasks, and extensive experiments show that it outperforms state-of-the-art methods on graph-level classification and reasoning tasks. Our source code is publicly available at https://anonymous.4open.science/r/GLIP.
요약
GNN과 LLM을 그래프 수준 작업에서 공동으로 사전학습하는 GLIP 프레임워크를 제안하며, 다중 토큰 선택 전략으로 전역·지역 구조 정보를 포착하고 확산 기반 프로젝터와 대조적 정렬 손실을 통해 LLM의 의미적 판단을 그래프 표현 학습에 활용한다. 제한된 레이블 데이터로 파인튜닝 시 그래프 분류 및 추론 작업에서 기존 최신 기법들을 능가하는 성능을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29773v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
Self-Supervised Learning for Multimedia Recommendation
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
뇌전도(EEG)는 진행 중인 신경 활동을 비침습적으로 측정하지만, 피험자, 장치, 전극 배치의 이질성 때문에 범용 EEG 모델을 구축하는 일은 여전히 어렵다. 기존 EEG 파운데이션 모델은 신경 성분과 비신경 성분을 모두 포함하는 관측 신호에 정의된 복원 기반 목적 함수에 주로 의존한다. 본 연구는 잠재 공간에서 예측하기 위해 결합 임베딩 예측 아키텍처(JEPA)를 채택한 EEG 파운데이션 모델인 구면 사전 분포 EEG 표현 아키텍처(Spherical Prior EEG Representation Architecture, SPERA)를 소개한다. SPERA는 다양한 두피 전극 기하 구조를 인코딩하기 위해 어텐션에 통합된 르장드르 다항식 공간 사전 분포를 도입한다. 모델을 EEG에 맞추는 두 가지 추가 구성요소로, 주기적인 전체 어텐션 블록과 교차 배치된 시간·공간 분해 어텐션, 그리고 잠재 유사도 구조를 스펙트럼 뷰와 정렬하는 관계형 스펙트럼 정규화기가 있다. 106개 데이터셋, 29,048명의 피험자로부터 얻은 약 80,000시간의 EEG로 사전 학습한 SPERA는 임상, 인지, BCI 응용에 걸친 9개 다운스트림 과제에서 가장 높은 평균 균형 정확도를 달성한다. 또한 SPERA는 선형 프로빙에서 강한 파라미터 효율성을, 다양한 녹화 조건에서 강건성을 보여, 다양한 EEG 분석을 위한 범용 백본으로서의 잠재력을 시사한다.
호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
표현 차이 증류
Representational Difference Distillation
지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.