arXiv:2201.05293

Structure Enhanced Graph Neural Networks for Link Prediction

Baole Ai, Zhou Qin, Wenting Shen, Yong Li

제출 2022-01-14

원문 초록

Graph Neural Networks (GNNs) have shown promising results in various tasks, among which link prediction is an important one. GNN models usually follow a node-centric message passing procedure that aggregates the neighborhood information to the central node recursively. Following this paradigm, features of nodes are passed through edges without caring about where the nodes are located and which role they played. However, the neglected topological information is shown to be valuable for link prediction tasks. In this paper, we propose Structure Enhanced Graph neural network (SEG) for link prediction. SEG introduces the path labeling method to capture surrounding topological information of target nodes and then incorporates the structure into an ordinary GNN model. By jointly training the structure encoder and deep GNN model, SEG fuses topological structures and node features to take full advantage of graph information. Experiments on the OGB link prediction datasets demonstrate that SEG achieves state-of-the-art results among all three public datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22781v1cs.LG공통 태그 Link Prediction, Graph Neural Network

소프트맥스가 버리는 것: 증거 누적을 위한 질량 인식 어텐션

What Softmax Throws Away: Mass-Aware Attention for Evidence Accumulation

높은 태스크 성능은 모델이 내부 표현에서 예측과 관련된 구조적 정보를 유지하는지 여부를 보여주지 않는다. 예를 들어, 시간 그래프 모델은 높은 future-link AUC를 달성할 수 있지만, 동일한 표현에서 기본 그래프 통계를 복원하는 것은 여전히 어렵다. 우리는 이러한 격차의 한 원인을 표준 어텐션에서 사용하는 가중 평균에서 찾는다. 증거 패턴이 반복되면 분자와 분모가 같은 속도로 증가하므로, 누적된 증거의 양이 다른 입력들이 동일한 집계값을 만들 수 있다. 우리는 표준 L1 정규화를 Lp 계열로 일반화하는 Mass-Aware Attention(MAA)을 제안한다. 반복 상황에서 MAA는 분자와 분모가 서로 다른 속도로 스케일되게 하여, 표현 크기에 기여하는 입력의 유효 개수를 표현 크기에 유지한다. MAA는 추가적인 지도, 파라미터, 은닉 차원, 또는 명시적 개수 특징을 추가하지 않으며, p=1에서 표준 어텐션을 복원한다. 4개의 연속 시간 동적 그래프 모델과 3개의 데이터셋에 걸쳐, MAA는 12개의 모델-데이터셋 셀 중 11개에서 future-link AUC를 개선한다. 동일한 은닉 표현에서의 선형 복원은 평균 4.49% 증가하며, family-wise correction 후 preferential-attachment 복원은 12개 셀 모두에서 개선된다. 또한 marked temporal point process(MTPP), temporal knowledge graph(TKG), 검색-증강 생성(RAG), 시공간 point process(STPP)에서도 일관된 증거를 관찰한다. 정보 접근성과 태스크 유용성은 여전히 구별된다. MTPP에서 NLL은 개선되지만, TKG에서는 랭킹이 대체로 유지되고, RAG의 추가 정보는 진단 헤드를 개선하지 않으며, STPP에서는 하류 LayerNorm이 신호를 지울 수 있다. 이 결과들은 MAA를 표준 어텐션에서 반복 불변성(repetition invariance)을 제어함으로써 예측기 대면 표현의 정보성을 개선하는 일반적인 정규화 원리로 자리매김한다.

arXiv:2607.22875v1cs.LG공통 태그 Prediction, Graph Neural Network

Graph Attention Network를 이용한 토양 미세플astics 및 유기물의 공간 예측

Spatial Prediction of Soil Microplastics and Organic Matter Using Graph Attention Networks

토양 미세플astics 및 유기물의 정확한 추정은 생태계 건강을 평가하고 지속 가능한 토지 이용을 지원하는 데 필수적이다. 본 연구는 91개의 지리좌표가 부여된 토양 시료 간 공간적 의존성을 모델링하기 위해 Graph Attention Networks(GAT)를 사용하는 그래프 기반 심층 학습 접근법을 제시한다. 공간 좌표, 토양 특성, 토지 이용 데이터를 통합하여 지역적 상호작용을 포착하는 2층 GAT 아키텍처를 개발하였다. 최종 모델은 우수한 성능을 보였으며, 미세플astics에 대해 RMSE 625.06($R^2 = 0.87$), 유기물에 대해 0.43($R^2 = 0.91$)을 달성하였다. 그러나 교차 검증 결과 일반화 성능이 제한적임이 드러났으며, 이는 아마도 작은 표본 크기와 희소한 그래프 구조 때문인 것으로 보인다. 이러한 결과는 공간적 토양 예측에서 GAT의 잠재력을 보여주며, 밀집된 데이터셋과 개선된 그래프 연결성의 필요성을 강조한다.

arXiv:2607.21949v1cs.LG공통 태그 Link Prediction, Graph Neural Network

MA-DAR: 지속적 시간적 지식 그래프 추론을 위한 다양체 정렬 동적 적응형 라우팅

MA-DAR: Manifold-Aligned Dynamic Adaptive Routing for Continual Temporal Knowledge Graph Reasoning

지속적 시간적 지식 그래프(TKG) 추론은 새로 등장하는 사실을 지속적으로 통합하면서 이전에 습득한 지식을 보존하는 것을 목표로 한다. 재생(replay) 기반 지속 학습(continual learning)은 과거 표현을 재방문함으로써 유망한 성능을 달성해 왔다. 그러나 기존 방법들은 주로 무엇을 재생할지에 초점을 맞추며, 재생된 표현을 현재 표현과 어떻게 통합해야 하는지는 대체로 간과한다. 이러한 직접 통합은 종종 두 가지 중요한 형태의 표현 충돌, 즉 노름 지배(norm domination)와 의미적 흐림(semantic blurring)을 야기하여 결국 지속적 추론 성능을 저하시킨다. 이러한 과제를 해결하기 위해, 우리는 재생 표현 융합을 위한 경량 플러그 앤 플레이(plug-and-play) 프레임워크인 MA-DAR(Manifold-Aligned Dynamic Adaptive Routing)를 제안한다. MA-DAR는 먼저 재생된 표현과 현재 표현을 공유 다양체(shared manifold) 위에 정렬하여 분포 불일치를 완화한다. 그다음 동적 게이팅(gating) 메커니즘을 사용해 차원별 융합 가중치를 학습하고, 융합된 표현에 대한 재생 표현과 현재 표현의 기여도를 적응적으로 결정한다. 또한, 극화(polarization) 정규화(regularizer)는 모호한 게이팅 결정을 억제함으로써 보다 단호한 라우팅 동작을 유도하여, 더 안정적이고 효과적인 지식 통합을 이룬다. 4개의 공개 지속적 TKG 벤치마크에 대한 광범위한 실험 결과, MA-DAR는 다양한 재생 설정에서도 효과를 유지하면서 대표적인 TKG 인코더의 성능을 일관되게 향상시킴을 보여준다. 포괄적인 ablation 연구와 시각화 분석은 표현 충돌을 완화하고 지속적 추론을 개선하는 데 있어 다양체 정렬과 동적 적응형 라우팅의 효과를 추가로 검증한다.

arXiv:2607.22325v1cs.CV공통 태그 Link Prediction, Graph Neural Network

기하학적 2D 장면 그래프 생성

Geometric 2D Scene Graph Generation

소비재 생산 공정에서 조립 지침은 계획뿐 아니라 생산 공정 실행에도 필수적이다. 로봇공학에서도 마찬가지로, 조립 로봇이 부품들이 어떻게 맞물리고 조립될 수 있는지 이해하는 것이 중요하다. 이러한 작업을 지원하기 위해, 우리는 부품 간 조립 관계를 표현하고 특성화하기 위한 장면 그래프(scene graph) 구성 방법을 제안한다. 우리 접근법은 의미(semantic) 데이터에 의존하지 않으며 매우 작은 데이터셋을 처리할 수 있다. 이를 실현하기 위해 Faster R-CNN 모델의 출력을 사용하여 기하학적 표현을 생성하고, 이를 트랜스포머 아키텍처로 처리하여 인접 행렬(adjacency matrix)을 생성한다. 이 행렬은 어텐션 그래프 합성곱 네트워크(attentional graph convolutional network, aGCN) 아키텍처 기반 메시지 패싱(message passing)을 사용하는 쌍대(Siamese) 네트워크의 입력으로 사용되어 부품 간 연결을 특성화한다. 우리는 운송 수단으로 조립할 수 있는 장난감 모델 부품으로 구성된 연구용 데이터셋에서 방법을 검증한다.

arXiv:2607.20505v1cs.RO공통 태그 Prediction, Graph Neural Network

HERMES: 신호 교차로에서의 교통 충돌 예측을 위한 이질적 엣지-관계 다중 헤드 임베디드 SSM 어텐션

HERMES: Heterogeneous Edge-Relational Multi-Head Embedded SSM Attention for Traffic Conflict Prediction at Signalized Intersections

대리 안전 지표(SSM, surrogate safety measures)는 사전적 교통 안전 평가를 가능하게 하지만, 기존 방법의 다수는 쌍방(pairwise) 상호작용을 독립적으로 평가하거나 다중 에이전트 장면을 고정된 특징 벡터로 평탄화하여, 이질적 상호작용 구조와 변화하는 장면 수준 위험을 표현하는 능력을 제한한다. 본 연구는 교통 충돌 평가를 시간적 이질적 장면 그래프(scene-graph) 분류로 공식화하고, SSM 기반 다중 헤드 어텐션을 갖춘 이질적 엣지-관계 그래프 신경망인 HERMES를 제안한다. 차량과 보행자는 이질적 노드로 표현되고, 차량-차량, 차량-보행자, 보행자-보행자 상호작용은 연속적인 운동학적 및 대리 안전 특징(descriptors)을 갖는 관계별 엣지로 인코딩된다. 관계별 어텐션, 동적 노드-엣지 업데이트, 안전 인식 그래프 풀링, 시간적 시퀀스 학습을 함께 사용하여 장면 수준 충돌 확률을 추정한다. HERMES는 신호가 있는 도시 교차로에서 궤적 기반으로 수집한 109,028개 시퀀스로 평가되었고, 독립적으로 수집한 유사 교차로 데이터셋에서 검증되었다. 강화된 HERMES는 AUC-ROC 0.9898 +/- 0.0013, AUC-PR 0.9412 +/- 0.0067, F1 점수 0.8449 +/- 0.0103을 달성했다. 5% 오경보율에서 충돌 시퀀스의 95.7%를 탐지하여, 가장 강력한 트랜스포머 기준선과 XGBoost를 능가했다. 제로샷(zero-shot) 외부 평가에서 HERMES는 AUC-ROC 0.9752, AUC-PR 0.7829를 달성했다. 공동 소스-타깃 학습은 제한된 타깃 현장 데이터에서도 타깃 현장 성능을 추가로 개선했다. 이러한 결과는 이질적 상호작용 위상, 안전 정보를 반영한 엣지 의미론, 단기 시간적 진화를 보존하는 것이 장면 수준 충돌 분류를 향상시키고 신호 교차로에서 전이 가능한 도로변 안전 모니터링을 지원함을 보여준다.

arXiv:2607.14149v1cs.AI공통 태그 Link Prediction, Graph Neural Network

지식 그래프 그라운딩을 통한 소형 언어 모델 추론 능력 향상

Enhancing Small Language Models Reasoning through Knowledge Graph Grounding

대규모 언어 모델(LLM)은 제로샷(zero-shot) 추론에서 벤치마크를 세웠지만, 배포 비용이 과도하고 환경 부담도 큽니다. 소형 언어 모델(SLM)은 지속 가능한 대안이지만, 복잡한 다중 홉(multi-hop) 논리적 그라운딩(grounding)이 요구되는 과제에서는 오류에 취약합니다. 우리는 CLUTRR kinship 벤치마크를 사용하여 Gemma 3 (1B, 4B) 및 Llama 3.2 (3B)와 같은 SLM의 추론 능력을 향상시키기 위한 뉴로-심볼릭(neuro-symbolic) 에이전트 프레임워크를 조사합니다. 우리 접근법은 SLM을 두 가지 특화된 도구 호출을 활용하는 미니멀리스트 에이전트로 변환합니다: extract_facts는 심볼릭 triplet 추출용이고, get_hint는 Relational Graph Convolutional Network(RGCN)를 통한 전문가 추론용입니다. 우리는 정답 triplet을 사용하는 Oracle 시나리오와 자체 추출 지식에 의존하는 Realistic 시나리오라는 두 가지 구성에서 이 모델들을 평가합니다. 결과는 RGCN 파생 힌트가 스토리만 사용하는 baseline 대비 1.5~2배 성능 향상을 제공하지만, 시스템이 추출 병목(extraction bottleneck)과 순차적 연역적 취약성(sequential deductive fragility)에 의해 제약받으며, 초기 추출 오류가 다중 홉 체인 전체에서 누적된다는 것을 보여줍니다. 또한 우리는 특정 아키텍처에서 전문가 힌트가 존재함에도 불구하고 노이즈가 있는 자체 생성 사실이 성능을 저하시키는 "distraction effect"를 확인합니다. 본 연구는 저자원 에이전트 시스템에서 심볼릭 그라운딩의 과제를 규명하고, 뉴로-심볼릭 에이전트 파이프라인에서 반복적 검증을 위한 로드맵을 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.