arXiv:2611.23864v1 cs.AI

묻고도 놓치다: 자연어 데이터 질의에서의 결정 커버리지

Asking but Missing: Decision Coverage in Natural-Language Data Querying

Hangle Hu, Chenyu Hou, Bin Cao, Jing Fan, Wei Luo

제출 2026-11-19

한국어 초록

대규모 언어 모델은 구조화된 데이터에 대한 자연어 질문을 실행 가능한 프로그램으로 변환하는 데 점점 더 많이 사용되고 있다. 근본적인 과제는 질문이 여러 계산적 해석을 허용하는 때를 인식하고, 이를 해소하는 데 필요한 결정을 식별하는 것이다. 본 연구는 언어 모델이 코드를 생성하기 전에 이러한 미해결 결정을 인식하는지, 아니면 잘못된 결과로 이어질 수 있는 가정을 조용히 채택하는지를 조사한다. 후자의 행동을 불충분 명세 결정 완성(Underspecified Decision Completion, UDC)이라 부른다. UDC의 다양한 원인을 구분하기 위해, 미해결 결정의 식별, 증거를 이용한 해소, 실행 가능한 코드로의 변환을 분리하는 진단 프로토콜인 Grounded Code Generation(GCG)을 도입한다. 각 단계를 별도로 검토함으로써 잘못된 결과를 초래한 결정이 처음 놓치거나 잘못 처리된 지점을 판별할 수 있다. 이 프레임워크를 BIRD-Pandas에서 열두 개의 모델로 평가하였다. 결과는 명확화 질문에 답하는 것이 실행 정확도를 일관되게 향상시키지만 상당한 오류가 남아 있음을 보여준다. 이러한 결과는 핵심적인 어려움이 명확화 질문에 답하는 데 있지 않고, 애초에 어떤 질문을 해야 하는지 인식하는 데 있음을 시사한다.

원문 초록

Large language models are increasingly used to translate natural language questions about structured data into executable programs. A fundamental challenge is recognizing when a question admits multiple computational interpretations and identifying the decisions needed to resolve them. We investigate whether language models recognize these unresolved decisions before generating code, or silently adopt assumptions that may lead to incorrect results. We refer to the latter behavior as Underspecified Decision Completion (UDC). To distinguish different causes of UDC, we introduce Grounded Code Generation (GCG), a diagnostic protocol that separates the identification of unresolved decisions, their resolution using evidence, and their translation into executable code. By examining each stage separately, we can determine where the decisions responsible for incorrect results were first missed or mishandled. We evaluate this framework on BIRD-Pandas with twelve models. The results show that answering clarification questions consistently improves execution accuracy, yet substantial errors remain. Our findings suggest that the main difficulty lies not in answering clarification questions, but in recognizing which questions need to be asked in the first place.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23864v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.