Hi-Q: 멀티홉 질의응답을 위한 계층적 증거 기반 쿼리 정제
Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering
멀티홉 질의응답(Question Answering, QA)의 핵심적인 병목점은 질문이 표현되는 세분성(granularity)과 말뭉치(corpus) 증거를 검색할 수 있는 세분성이 서로 다른 경우가 많다는 점이다. 기존 방법들은 말뭉치에 고정된 그래프 구조를 부여하거나, 쿼리를 반복적으로 재구성하거나, 쿼리에 대해 생성된 프로그램을 실행함으로써 이러한 불일치를 해결하려 하지만, 이러한 전략들은 쿼리 단위가 이미 증거에 의해 뒷받침되는 시점과 정제되어야 하는 시점을 명시적으로 결정하지 못한다. 본 연구에서는 이 병목점을 검색 가능한 세분성 발견(retrievable granularity discovery) 문제로 정의하고, 계층적 쿼리 정제를 위한 증거 조건부 프레임워크인 Hi-Q를 소개한다. 각 쿼리 노드(node)에서 해결 연산자(resolution operator)는 검색된 증거가 현재 쿼리 단위를 뒷받침하는지 테스트하며, 해결된 노드는 종료되는 반면 미해결 노드는 의존성을 보존하는 이항 연산자에 의해 확장되고 의미론적 커버리지 검증기(semantic coverage verifier)를 통해 검증된다. 따라서 Hi-Q는 고정된 분해 템플릿이나 사전에 구축된 그래프 대신 말뭉치의 뒷받침 신호에 의해 위상이 결정되는 쿼리 트리를 성장시킨다. 저자들은 세 가지 멀티홉 QA 벤치마크에서, 주로 소규모의 주석 풀 내부가 아닌 오픈 도메인 방해 요소들 사이에서 의존적 증거를 찾아야 하는 전체 말뭉치 검색(full-corpus retrieval) 환경을 바탕으로 Hi-Q를 평가한다. 이 설정에서 Hi-Q는 말뭉치 전반의 그래프 구축 없이 세 벤치마크 평균 52.3 EM 및 64.0 F1을 달성하여, 동일한 평균에서 반복 검색 기준선(baseline)인 IRCoT를 15.1 EM / 18.2 F1 차이로 앞서고 MuSiQue-full에서는 그래프 기반 검색-증강 생성(RAG) 기준선인 PropRAG를 11.5 EM / 12.0 F1 차이로 앞선다. 이전 연구에서 사용된 제한된 지지/방해 요소 설정에서도 Hi-Q는 평균 57.9 EM 및 69.3 F1으로 최고 정확도를 달성하며, PropRAG를 5.6 EM / 3.9 F1, IRCoT를 13.7 EM / 15.8 F1 차이로 앞선다. 프로젝트 페이지는 https://hi-q-project.github.io/ 에서 확인할 수 있다.