PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.10791v2cs.AI

경로 기반 보상: 지식 그래프 질의응답을 위한 중간 지도 신호 학습

Reward on Path: Learning Intermediate Supervision Signals for Knowledge Graph Question Answering

지식 그래프 질의응답(KGQA)은 지식 그래프(KG) 상에서 추론하여 사용자 질문에 답하는 것을 목표로 한다. 최근 방법들은 정답 레이블에서 도출되거나 대규모 언어 모델(LLM)을 통해 정제된 지도(supervision) 신호를 사용하여, LLM 기반 정답 추론을 위한 KG 근거를 검색하는 모델을 학습(training)시킨다. 그러나 정답에서 도출된 지도 신호는 정답에 도달하는 모든 경로를 정답으로 간주하여 노이즈가 있는 학습 신호를 생성하는 반면, LLM으로 정제된 지도 신호는 상당한 비용을 들여 이러한 노이즈를 완화한다. 이러한 한계를 해결하기 위해, 본 논문에서는 비대칭 목적 함수를 사용하여 정답 레이블로부터 경량의 질문 조건부 경로 보상(reward)을 학습하는 프레임워크인 Reward on Path(RoP)를 제안한다. 동일한 정답에 도달하는 경로들은 하나의 집합(bag)으로 결합 지도되어 보상 모델(reward model)이 이들의 상대적 기여도를 학습할 수 있도록 하는 한편, 오답 엔티티를 검색하는 각 경로는 개별적으로 페널티를 받는다. 이렇게 학습된 보상은 두 단계에 걸쳐 LLM 기반 관계 경로 생성기를 학습시킨다. 먼저 보상 증류를 통해 후보 경로에 대한 보상 유도 선호도를 생성기로 전이하고, GRPO를 활용한 온-정책(on-policy) 최적화를 통해 자체 생성된 경로에서 정책을 더욱 정제한다. 생성된 경로는 KG에 그라운딩(grounding)되어 정답 추론을 위한 근거를 검색한다. 여러 KGQA 데이터셋에 대한 실험 결과, RoP는 비용이 많이 드는 지도 신호 구축 과정 없이도 LLM 정제 방법보다 우수한 성능을 보이면서 정답 도출 방법 대비 F1을 최소 2.6\% 향상시키는 것으로 나타났다.