arXiv:1601.06068

Paraphrase Generation from Latent-Variable PCFGs for Semantic Parsing

Shashi Narayan, Siva Reddy, Shay B. Cohen

제출 2016-01-22

원문 초록

One of the limitations of semantic parsing approaches to open-domain question answering is the lexicosyntactic gap between natural language questions and knowledge base entries -- there are many ways to ask a question, all with the same answer. In this paper we propose to bridge this gap by generating paraphrases of the input question with the goal that at least one of them will be correctly mapped to a knowledge-base query. We introduce a novel grammar model for paraphrase generation that does not require any sentence-aligned paraphrase corpus. Our key idea is to leverage the flexibility and scalability of latent-variable probabilistic context-free grammars to sample paraphrases. We do an extrinsic evaluation of our paraphrases by plugging them into a semantic parser for Freebase. Our evaluation experiments on the WebQuestions benchmark dataset show that the performance of the semantic parser significantly improves over strong baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14494v1cs.AI공통 태그 Question Answering, Semantic Parsing

SAGA: 에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩

SAGA: Schema-Aware Grounding for Agentic Text-to-SPARQL Generation

복잡한 지식 베이스 질의응답(KBQA)은 일반적으로 질문별 서브그래프에 대한 정보 검색 또는 실행 가능한 논리형으로의 의미 구문 분석(semantic parsing)을 통해 접근한다. 우리는 후자의 패러다임을 연구한다. 최근 대규모 언어 모델(LLM) 에이전트는 의미 구문 분석을 대화형으로 만든다: 추론, 지식 베이스 질의, 부분 SPARQL 쿼리 확장을 번갈아 수행한다. 이러한 교차 수행은 one-shot 생성에 대한 의존을 줄이지만, KB 그라운딩의 품질이 상호작용 도구가 무엇을 노출하는지에 달리게 만든다. 기존 에이전트는 엔티티 타입, 속성의 domain과 range, 기대되는 답변 타입에 체계적으로 조건화하지 않은 채 주로 어휘적 관련성과 인스턴스 수준 관찰을 통해 후보 속성을 검색하거나 가지치기한다. 우리는 이러한 실패 양식을 타입 맹목(type-blind) 그라운딩이라고 부른다. 이는 그라운딩 탐색 공간을 확대하고, 종종 그럴듯해 보이지만 의미적으로 호환되지 않는 트리플 패턴을 생성하여 빈 결과로 실행된다. 우리는 SAGA(에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩)를 제안한다. 이는 속성 탐험을 스키마 제약 그라운딩 연산으로 전환하는 학습 없는 프레임워크이다. SAGA는 지속적인 양방향 타입 상태를 유지하고, 구성 시점에 알려진 비호환 속성 후보를 필터링하며, 남은 그래프 패턴을 간결한 스키마 주석 형식으로 제시하고, 경험적 및 trace-local 증거를 통해 누락된 스키마 정보를 관대하게 처리한다. Wikidata와 Freebase에 걸친 9개의 벤치마크 설정에서 SAGA는 9개 설정 모두에서 최고 F1을, 8개에서 최고 exact-match 정확도를 달성했으며, 보고된 모든 Wikidata 설정에서 빈 결과 쿼리를 줄였다.

arXiv:2607.10911v1cs.CL공통 태그 Question Answering, Semantic Parsing

자연어-SQL 번역의 핵심 요소: 모델 파이프라인 최적화 접근법과 그 상호작용에 대한 체계적 분석

The Nuts and Bolts of Natural Language to SQL Translation: A Systematic Analysis of Model Pipeline Optimisation Approaches and their Interactions

대규모 언어 모델(LLM)의 시대에도, 자연어-SQL(NL2SQL) 번역은 다양한 유용한 응용 분야를 갖는 미해결 문제로 남아 있다. 우리는 더 경량화된 모델 개발에 영감을 주기 위해 여러 NL2SQL 파이프라인 확장 기법들 간의 상호작용을 탐구한다. 구체적으로, NatSQL 중간 표현을 통합하고, 합성 데이터 기반의 전처리 단계와 미세조정(fine-tuning) 단계를 포함하며, 최종 빔에서 SQL 선택을 개선하기 위한 새로운 리랭커(reranker) 모델을 개발한다. 우리는 SmBoP와 RASAT 두 가지 백본 아키텍처와 통합된 이러한 다양한 구성 요소들에 대해 Shapley 분석으로 보완된 절제 연구(ablation study)를 수행한다. 단순히 이들 모두를 결합하는 것이 최상의 결과로 이어지지 않으며, 각 구성 요소의 영향은 기준선(baseline) 시스템과의 상호작용뿐만 아니라 서로 간의 상호작용에도 의존함을 발견한다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.