arXiv:2201.11596

FairEGM: Fair Link Prediction and Recommendation via Emulated Graph Modification

Sean Current, Yuntian He, Saket Gurukar, Srinivasan Parthasarathy

제출 2022-01-27

원문 초록

As machine learning becomes more widely adopted across domains, it is critical that researchers and ML engineers think about the inherent biases in the data that may be perpetuated by the model. Recently, many studies have shown that such biases are also imbibed in Graph Neural Network (GNN) models if the input graph is biased, potentially to the disadvantage of underserved and underrepresented communities. In this work, we aim to mitigate the bias learned by GNNs by jointly optimizing two different loss functions: one for the task of link prediction and one for the task of demographic parity. We further implement three different techniques inspired by graph modification approaches: the Global Fairness Optimization (GFO), Constrained Fairness Optimization (CFO), and Fair Edge Weighting (FEW) models. These techniques mimic the effects of changing underlying graph structures within the GNN and offer a greater degree of interpretability over more integrated neural network methods. Our proposed models emulate microscopic or macroscopic edits to the input graph while training GNNs and learn node embeddings that are both accurate and fair under the context of link recommendations. We demonstrate the effectiveness of our approach on four real world datasets and show that we can improve the recommendation fairness by several factors at negligible cost to link prediction accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10197v2cs.AI공통 태그 Link Prediction, Graph Neural Network

GRATE: 게이트 회전 어텐션을 통한 귀납적 지식 그래프 파운데이션 모델의 시간적 확장

GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Ultra, Trix와 같은 지식 그래프 파운데이션 모델은 관계 그래프 표현을 학습함으로써 미지의 개체 및 관계로 강력한 귀납적 전이를 달성한다. 이러한 전이 가능성을 시간적 지식 그래프(TKG)로 확장하는 것은 여전히 어려운 과제이다. 기존의 시간적 모델은 파라미터가 데이터셋 고유의 개체, 관계, 또는 타임스탬프에 고정되어 있어 어휘가 서로 다른 TKG로의 전이를 위해 설계되지 않았다. 우리는 학습 가능한 파라미터를 추가하지 않으면서 시간을 인코딩하는 개체 측 메시지 함수인 GRATE(Gated Rotary Attention for Temporal Encoding)를 제안한다. GRATE는 각 엣지 메시지를 쿼리와의 시간 간격에 따라 회전시켜 상대적 시간 차이를 인코딩하고, 쿼리 조건부 게이트를 적용하여 시간적으로 관련된 신호를 선택한다. GRATE는 구조적 전이 가능성을 유지하면서 NBFNet 방식의 지식 그래프 파운데이션 모델에 통합된다. 기존 TKG 벤치마크는 학습/테스트 어휘를 공유하는 환경에서만 평가하므로 데이터셋 간 시간적 전이를 직접 테스트하기 어렵다. 이를 위해 우리는 보간(interpolation)과 외삽(extrapolation) 모두를 아우르며 개체, 관계, 타임스탬프가 분리된 귀납적 전이 벤치마크 스위트인 GDELTIndT와 WIKIIndT를 구축하였다. 이 벤치마크들과 홀드아웃 예측 데이터셋 전반에 걸쳐, 단일 공동 사전학습 GRATE 체크포인트는 대부분의 설정에서 정적 베이스 모델을 능가한다.

arXiv:2607.22781v1cs.LG공통 태그 Link Prediction, Graph Neural Network

소프트맥스가 버리는 것: 증거 누적을 위한 질량 인식 어텐션

What Softmax Throws Away: Mass-Aware Attention for Evidence Accumulation

높은 태스크 성능은 모델이 내부 표현에서 예측과 관련된 구조적 정보를 유지하는지 여부를 보여주지 않는다. 예를 들어, 시간 그래프 모델은 높은 future-link AUC를 달성할 수 있지만, 동일한 표현에서 기본 그래프 통계를 복원하는 것은 여전히 어렵다. 우리는 이러한 격차의 한 원인을 표준 어텐션에서 사용하는 가중 평균에서 찾는다. 증거 패턴이 반복되면 분자와 분모가 같은 속도로 증가하므로, 누적된 증거의 양이 다른 입력들이 동일한 집계값을 만들 수 있다. 우리는 표준 L1 정규화를 Lp 계열로 일반화하는 Mass-Aware Attention(MAA)을 제안한다. 반복 상황에서 MAA는 분자와 분모가 서로 다른 속도로 스케일되게 하여, 표현 크기에 기여하는 입력의 유효 개수를 표현 크기에 유지한다. MAA는 추가적인 지도, 파라미터, 은닉 차원, 또는 명시적 개수 특징을 추가하지 않으며, p=1에서 표준 어텐션을 복원한다. 4개의 연속 시간 동적 그래프 모델과 3개의 데이터셋에 걸쳐, MAA는 12개의 모델-데이터셋 셀 중 11개에서 future-link AUC를 개선한다. 동일한 은닉 표현에서의 선형 복원은 평균 4.49% 증가하며, family-wise correction 후 preferential-attachment 복원은 12개 셀 모두에서 개선된다. 또한 marked temporal point process(MTPP), temporal knowledge graph(TKG), 검색-증강 생성(RAG), 시공간 point process(STPP)에서도 일관된 증거를 관찰한다. 정보 접근성과 태스크 유용성은 여전히 구별된다. MTPP에서 NLL은 개선되지만, TKG에서는 랭킹이 대체로 유지되고, RAG의 추가 정보는 진단 헤드를 개선하지 않으며, STPP에서는 하류 LayerNorm이 신호를 지울 수 있다. 이 결과들은 MAA를 표준 어텐션에서 반복 불변성(repetition invariance)을 제어함으로써 예측기 대면 표현의 정보성을 개선하는 일반적인 정규화 원리로 자리매김한다.

arXiv:2607.21949v1cs.LG공통 태그 Link Prediction, Graph Neural Network

MA-DAR: 지속적 시간적 지식 그래프 추론을 위한 다양체 정렬 동적 적응형 라우팅

MA-DAR: Manifold-Aligned Dynamic Adaptive Routing for Continual Temporal Knowledge Graph Reasoning

지속적 시간적 지식 그래프(TKG) 추론은 새로 등장하는 사실을 지속적으로 통합하면서 이전에 습득한 지식을 보존하는 것을 목표로 한다. 재생(replay) 기반 지속 학습(continual learning)은 과거 표현을 재방문함으로써 유망한 성능을 달성해 왔다. 그러나 기존 방법들은 주로 무엇을 재생할지에 초점을 맞추며, 재생된 표현을 현재 표현과 어떻게 통합해야 하는지는 대체로 간과한다. 이러한 직접 통합은 종종 두 가지 중요한 형태의 표현 충돌, 즉 노름 지배(norm domination)와 의미적 흐림(semantic blurring)을 야기하여 결국 지속적 추론 성능을 저하시킨다. 이러한 과제를 해결하기 위해, 우리는 재생 표현 융합을 위한 경량 플러그 앤 플레이(plug-and-play) 프레임워크인 MA-DAR(Manifold-Aligned Dynamic Adaptive Routing)를 제안한다. MA-DAR는 먼저 재생된 표현과 현재 표현을 공유 다양체(shared manifold) 위에 정렬하여 분포 불일치를 완화한다. 그다음 동적 게이팅(gating) 메커니즘을 사용해 차원별 융합 가중치를 학습하고, 융합된 표현에 대한 재생 표현과 현재 표현의 기여도를 적응적으로 결정한다. 또한, 극화(polarization) 정규화(regularizer)는 모호한 게이팅 결정을 억제함으로써 보다 단호한 라우팅 동작을 유도하여, 더 안정적이고 효과적인 지식 통합을 이룬다. 4개의 공개 지속적 TKG 벤치마크에 대한 광범위한 실험 결과, MA-DAR는 다양한 재생 설정에서도 효과를 유지하면서 대표적인 TKG 인코더의 성능을 일관되게 향상시킴을 보여준다. 포괄적인 ablation 연구와 시각화 분석은 표현 충돌을 완화하고 지속적 추론을 개선하는 데 있어 다양체 정렬과 동적 적응형 라우팅의 효과를 추가로 검증한다.

arXiv:2607.22325v1cs.CV공통 태그 Link Prediction, Graph Neural Network

기하학적 2D 장면 그래프 생성

Geometric 2D Scene Graph Generation

소비재 생산 공정에서 조립 지침은 계획뿐 아니라 생산 공정 실행에도 필수적이다. 로봇공학에서도 마찬가지로, 조립 로봇이 부품들이 어떻게 맞물리고 조립될 수 있는지 이해하는 것이 중요하다. 이러한 작업을 지원하기 위해, 우리는 부품 간 조립 관계를 표현하고 특성화하기 위한 장면 그래프(scene graph) 구성 방법을 제안한다. 우리 접근법은 의미(semantic) 데이터에 의존하지 않으며 매우 작은 데이터셋을 처리할 수 있다. 이를 실현하기 위해 Faster R-CNN 모델의 출력을 사용하여 기하학적 표현을 생성하고, 이를 트랜스포머 아키텍처로 처리하여 인접 행렬(adjacency matrix)을 생성한다. 이 행렬은 어텐션 그래프 합성곱 네트워크(attentional graph convolutional network, aGCN) 아키텍처 기반 메시지 패싱(message passing)을 사용하는 쌍대(Siamese) 네트워크의 입력으로 사용되어 부품 간 연결을 특성화한다. 우리는 운송 수단으로 조립할 수 있는 장난감 모델 부품으로 구성된 연구용 데이터셋에서 방법을 검증한다.

arXiv:2607.14705v1cs.LG공통 태그 Fairness, Graph Neural Network

Grad2Fair: 인구통계 정보 없이 그래프 공정성을 달성하는 그래디언트 기반 접근법

Grad2Fair: A Gradient-driven Approach for Graph Fairness without Demographics

그래프 신경망(GNN)은 종종 집단 공정성(group fairness) 문제에 직면하며, 성별이나 인종과 같은 민감한 속성으로 정의된 특정 인구통계 집단에 대해 편향된 예측을 내는 경우가 많다. 이러한 과제는 광범위한 연구를 촉발했지만, 대부분의 기존 해결책은 인구통계 정보가 완전히 이용 가능하다는 강한 가정에 의존한다. 이 엄격한 요구사항을 우회하기 위해, 최근 몇몇 연구는 공정성 제약을 강제하기 위해 예측된 인구통계를 프록시로 사용하려 시도했다. 그러나 예측된 인구통계는 부정확할 수 있어 공정성 개선에 실패할 수 있다. 본 연구에서는 인구통계 정보 없이 그래프 공정성 문제를 조사하고, 예측된 인구통계의 사용을 피한다. 오분류된 노드의 그래디언트 분포가 암묵적으로 인구통계 정보를 인코딩한다는 관찰에 영감을 받아, 먼저 GradDist를 제안한다. 이는 이러한 분포 내 국소 모드(local modes) 간 거리를 측정하여 바이어스를 정량화하는 그래디언트 기반 지표이다. 이 바이어스를 완화하기 위해 Gradient-to-Fairness(Grad2Fair)를 제안한다. 이는 인구통계 정보 없이 집단 공정성을 위한 그래디언트 기반 접근법이다. 그래디언트에 잠재된 인구통계 정보로 인해, Grad2Fair는 그래디언트를 직접 활용하여 디바이어스(debias)하고 인구통계 예측을 제거함으로써 안정적인 공정성 성능을 가능하게 한다. 여러 실세계 데이터셋에 대한 실험은 Grad2Fair의 효과를 보여 주며, 대부분의 경우 베이스라인 대비 우수한 성능으로 이를 입증한다. 코드는 https://github.com/ZzoomD/Grad2Fair 에서 이용할 수 있다.

arXiv:2607.14149v1cs.AI공통 태그 Link Prediction, Graph Neural Network

지식 그래프 그라운딩을 통한 소형 언어 모델 추론 능력 향상

Enhancing Small Language Models Reasoning through Knowledge Graph Grounding

대규모 언어 모델(LLM)은 제로샷(zero-shot) 추론에서 벤치마크를 세웠지만, 배포 비용이 과도하고 환경 부담도 큽니다. 소형 언어 모델(SLM)은 지속 가능한 대안이지만, 복잡한 다중 홉(multi-hop) 논리적 그라운딩(grounding)이 요구되는 과제에서는 오류에 취약합니다. 우리는 CLUTRR kinship 벤치마크를 사용하여 Gemma 3 (1B, 4B) 및 Llama 3.2 (3B)와 같은 SLM의 추론 능력을 향상시키기 위한 뉴로-심볼릭(neuro-symbolic) 에이전트 프레임워크를 조사합니다. 우리 접근법은 SLM을 두 가지 특화된 도구 호출을 활용하는 미니멀리스트 에이전트로 변환합니다: extract_facts는 심볼릭 triplet 추출용이고, get_hint는 Relational Graph Convolutional Network(RGCN)를 통한 전문가 추론용입니다. 우리는 정답 triplet을 사용하는 Oracle 시나리오와 자체 추출 지식에 의존하는 Realistic 시나리오라는 두 가지 구성에서 이 모델들을 평가합니다. 결과는 RGCN 파생 힌트가 스토리만 사용하는 baseline 대비 1.5~2배 성능 향상을 제공하지만, 시스템이 추출 병목(extraction bottleneck)과 순차적 연역적 취약성(sequential deductive fragility)에 의해 제약받으며, 초기 추출 오류가 다중 홉 체인 전체에서 누적된다는 것을 보여줍니다. 또한 우리는 특정 아키텍처에서 전문가 힌트가 존재함에도 불구하고 노이즈가 있는 자체 생성 사실이 성능을 저하시키는 "distraction effect"를 확인합니다. 본 연구는 저자원 에이전트 시스템에서 심볼릭 그라운딩의 과제를 규명하고, 뉴로-심볼릭 에이전트 파이프라인에서 반복적 검증을 위한 로드맵을 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.