PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.14907v2cs.AI

KGPFN: 문맥 내 학습을 통해 지식 그래프 파운데이션 모델의 잠재력을 열다

KGPFN: Unlocking the Potential of Knowledge Graph Foundation Model via In-Context Learning

지식 그래프(KG) 파운데이션 모델은 전이 가능한 관계 구조를 학습함으로써 이전에 보지 못한 개체와 관계를 가진 그래프로 일반화하는 것을 목표로 합니다. 그러나 기존 방법 대부분은 관계 수준의 보편성에만 초점을 맞추고 있어, 파운데이션 모델의 또 다른 기둥인 문맥 내 학습(ICL)은 KG 추론에서 거의 탐색되지 않았습니다. KG의 문맥은 구조화되어 있고 이종적(heterogeneous)입니다. 정확한 예측을 위해서는 질의 개체의 국소적 이웃뿐만 아니라 질의 관계가 여러 인스턴스에 걸쳐 어떻게 동작하는지를 요약하는 전역적 문맥 모두를 조건으로 삼아야 합니다. 본 논문에서는 전이 가능한 관계 표현과 구조화된 문맥에 대한 추론 시점의 문맥 내 학습을 결합한 사전 데이터 적합 네트워크(PFN) 기반의 KG 파운데이션 모델인 KGPFN을 제안합니다. KGPFN은 관계 그래프에서의 메시지 전달을 통해 관계 표현을 학습하고, 다층 NBFNet의 중간 헤드 표현에서 다중 스케일 국소 문맥을 추출합니다. 그런 다음 질의 관계의 양성 및 음성 예시와 이들의 국소적 구조 표현으로부터 관계 특화 전역 문맥을 구축하고, 특징 수준 및 샘플 수준 어텐션으로 이 문맥을 집약합니다. 다중 그래프 사전학습을 통해 KGPFN은 추론 시점의 매개변수 업데이트 없이도 구조적 표현과 레이블이 지정된 문맥적 근거를 결합하는 방법을 학습합니다. 57개 지식 그래프에서 KGPFN은 미세조정을 적용하지 않은 경우와 적용한 경우 모두에서 최고의 평균 MRR을 달성했으며, 문맥 민감도 분석은 음성 문맥 예시의 가치를 강조합니다. 코드는 https://github.com/HKUST-KnowComp/KGPFN 에서 확인할 수 있습니다.