PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27669v1cs.CL

경로가 중요하다: KGQA에서 답변 정확도를 넘어선 소규모 언어 모델 평가

The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA

소규모 언어 모델(SLM)은 지식 그래프(KG)와 함께 사용되는 경우가 점점 늘고 있지만, 종단간(end-to-end) KG 질의응답은 그래프 접근, 탐색, 내비게이션, 추론, 답변 생성을 한데 뒤섞는다. 이러한 결합 때문에 SLM이 질문에 내포된 추론 경로를 충실하게 실행할 수 있는지를 판단하기도, 실패의 원인을 파이프라인의 다른 단계가 아닌 내비게이션에 귀속시키기도 어렵다. 우리는 THESEUS 내비게이션 및 추적성 프레임워크를 사용하고, 고정된(frozen) 기성 SLM을 로컬 행동 정책(local action policy)으로 활용하여 이 능력을 분리해 평가한다. 각 홉(hop)마다 환경은 실행 가능한 나가는 그래프 행동을 제시하고, 모델은 실행 가능한 그래프 행동 하나를 선택하며 중단할지 여부를 결정한다. 이 과정에서 과제별 매개변수 업데이트, 모델이 제어하는 빔 서치, 자유 형식 답변 생성은 사용하지 않는다. 이러한 통제된 설정을 통해 최종 답변 정확도를 Hits@1로, 경로 충실도(path fidelity)를 Path Edit Distance(PED)를 주요 궤적 지표로 사용하여 함께 평가할 수 있다. Kinship과 MQuAKE-ST KGQA 전반에서, 크기가 비슷한 로컬 모델들도 답변 정확도와 경로 충실도에서 크게 다르며, 두 지표가 서로 다른 모델을 선호하는 경우도 있다. 이러한 모델 의존적 양상은 프롬프팅에서도 나타나, 시연된 궤적 하나가 모델에 따라 내비게이션을 개선하거나 오히려 저하시킬 수 있다. 이러한 결과는 SLM의 그래프 추론을 최종 답변 정확도만이 아니라 그 너머까지 평가해야 함을 시사한다.

arXiv:2607.14561v2cs.CL

MARS: KGQA를 위한 다중 홉 적응형 검색 및 SPARQL 생성

MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

대규모 언어 모델(LLM)은 강력한 추론 성능을 보여주었지만, 환각(hallucination) 경향은 최신의 그라운딩(grounding)된 정보가 필요한 지식 집약적 작업에서 신뢰성을 제한한다. 지식 그래프(KG)와 LLM을 결합하면 값비싼 미세조정 없이 지속적으로 업데이트할 수 있는 명시적 기호 지식을 활용할 수 있으며, 빠르게 발전하는 LLM 추론의 이점도 누릴 수 있다. 우리는 모델 미세조정이 필요 없는 확장 가능한 지식 그래프 질의응답(KGQA) 접근법인 MARS를 제안한다. 개방형 에이전트 탐험에 의존하는 대신, MARS는 질문 엔티티를 KG에 연결하고 관련 다음 홉(next-hop) 정보를 반복적으로 검색하는 구조화된 검색 절차를 수행한다. 각 단계에서 MARS는 그래프 순회를 계속할지 최종 SPARQL 쿼리를 생성할지 결정하여, 질문에 따라 검색 깊이를 적응적으로 조절하면서 전체 파이프라인을 완전한 에이전트 방식보다 더 예측 가능하게 유지한다. 우리는 여러 LLM과 설정, 다국어 평가를 포함하여 세 가지 기존 KGQA 벤치마크에서 MARS를 평가하고, ablation study와 오류 분석을 통해 통찰을 제공한다. 우리의 접근법은 효율적이고 확장 가능한 상태를 유지하면서 최신(state-of-the-art) 방법 대비 경쟁력 있는 성능을 달성한다. 평가 결과, 코드 및 리소스는 공개적으로 제공된다: https://github.com/dice-group/mars-kgqa.