arXiv:2204.12662

Better Query Graph Selection for Knowledge Base Question Answering

Yonghui Jia, Wenliang Chen

제출 2022-04-27

원문 초록

This paper presents a novel approach based on semantic parsing to improve the performance of Knowledge Base Question Answering (KBQA). Specifically, we focus on how to select an optimal query graph from a candidate set so as to retrieve the answer from knowledge base (KB). In our approach, we first propose to linearize the query graph into a sequence, which is used to form a sequence pair with the question. It allows us to use mature sequence modeling, such as BERT, to encode the sequence pair. Then we use a ranking method to sort candidate query graphs. In contrast to the previous studies, our approach can efficiently model semantic interactions between the graph and the question as well as rank the candidate graphs from a global view. The experimental results show that our system achieves the top performance on ComplexQuestions and the second best performance on WebQuestions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14494v1cs.AI공통 태그 Question Answering, Semantic Parsing

SAGA: 에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩

SAGA: Schema-Aware Grounding for Agentic Text-to-SPARQL Generation

복잡한 지식 베이스 질의응답(KBQA)은 일반적으로 질문별 서브그래프에 대한 정보 검색 또는 실행 가능한 논리형으로의 의미 구문 분석(semantic parsing)을 통해 접근한다. 우리는 후자의 패러다임을 연구한다. 최근 대규모 언어 모델(LLM) 에이전트는 의미 구문 분석을 대화형으로 만든다: 추론, 지식 베이스 질의, 부분 SPARQL 쿼리 확장을 번갈아 수행한다. 이러한 교차 수행은 one-shot 생성에 대한 의존을 줄이지만, KB 그라운딩의 품질이 상호작용 도구가 무엇을 노출하는지에 달리게 만든다. 기존 에이전트는 엔티티 타입, 속성의 domain과 range, 기대되는 답변 타입에 체계적으로 조건화하지 않은 채 주로 어휘적 관련성과 인스턴스 수준 관찰을 통해 후보 속성을 검색하거나 가지치기한다. 우리는 이러한 실패 양식을 타입 맹목(type-blind) 그라운딩이라고 부른다. 이는 그라운딩 탐색 공간을 확대하고, 종종 그럴듯해 보이지만 의미적으로 호환되지 않는 트리플 패턴을 생성하여 빈 결과로 실행된다. 우리는 SAGA(에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩)를 제안한다. 이는 속성 탐험을 스키마 제약 그라운딩 연산으로 전환하는 학습 없는 프레임워크이다. SAGA는 지속적인 양방향 타입 상태를 유지하고, 구성 시점에 알려진 비호환 속성 후보를 필터링하며, 남은 그래프 패턴을 간결한 스키마 주석 형식으로 제시하고, 경험적 및 trace-local 증거를 통해 누락된 스키마 정보를 관대하게 처리한다. Wikidata와 Freebase에 걸친 9개의 벤치마크 설정에서 SAGA는 9개 설정 모두에서 최고 F1을, 8개에서 최고 exact-match 정확도를 달성했으며, 보고된 모든 Wikidata 설정에서 빈 결과 쿼리를 줄였다.

arXiv:2607.10911v1cs.CL공통 태그 Question Answering, Semantic Parsing

자연어-SQL 번역의 핵심 요소: 모델 파이프라인 최적화 접근법과 그 상호작용에 대한 체계적 분석

The Nuts and Bolts of Natural Language to SQL Translation: A Systematic Analysis of Model Pipeline Optimisation Approaches and their Interactions

대규모 언어 모델(LLM)의 시대에도, 자연어-SQL(NL2SQL) 번역은 다양한 유용한 응용 분야를 갖는 미해결 문제로 남아 있다. 우리는 더 경량화된 모델 개발에 영감을 주기 위해 여러 NL2SQL 파이프라인 확장 기법들 간의 상호작용을 탐구한다. 구체적으로, NatSQL 중간 표현을 통합하고, 합성 데이터 기반의 전처리 단계와 미세조정(fine-tuning) 단계를 포함하며, 최종 빔에서 SQL 선택을 개선하기 위한 새로운 리랭커(reranker) 모델을 개발한다. 우리는 SmBoP와 RASAT 두 가지 백본 아키텍처와 통합된 이러한 다양한 구성 요소들에 대해 Shapley 분석으로 보완된 절제 연구(ablation study)를 수행한다. 단순히 이들 모두를 결합하는 것이 최상의 결과로 이어지지 않으며, 각 구성 요소의 영향은 기준선(baseline) 시스템과의 상호작용뿐만 아니라 서로 간의 상호작용에도 의존함을 발견한다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.