Large Language Models are Complex Table Parsers
원문 초록
With the Generative Pre-trained Transformer 3.5 (GPT-3.5) exhibiting remarkable reasoning and comprehension abilities in Natural Language Processing (NLP), most Question Answering (QA) research has primarily centered around general QA tasks based on GPT, neglecting the specific challenges posed by Complex Table QA. In this paper, we propose to incorporate GPT-3.5 to address such challenges, in which complex tables are reconstructed into tuples and specific prompt designs are employed for dialogues. Specifically, we encode each cell's hierarchical structure, position information, and content as a tuple. By enhancing the prompt template with an explanatory description of the meaning of each tuple and the logical reasoning process of the task, we effectively improve the hierarchical structure awareness capability of GPT-3.5 to better parse the complex tables. Extensive experiments and results on Complex Table QA datasets, i.e., the open-domain dataset HiTAB and the aviation domain dataset AIT-QA show that our approach significantly outperforms previous work on both datasets, leading to state-of-the-art (SOTA) performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델의 논리적 일관성을 위한 통제된 재표현 테스트
Controlled Reformulation Testing for Logical Consistency in Large Language Models
대규모 언어 모델(LLM)은 논리적으로 동등한 질문의 표면 형태가 바뀔 때 자주 스스로 모순된다. 우리는 논리적 불변성(logical invariance)을 평가하기 위해 Controlled Reformulation Testing(CRTBench)용 350개 질문 패밀리(총 1,750개 질문) 벤치마크를 제시한다. 이 벤치마크에서 우리는 역명제 재작성(contrapositive rewriting), 이중 부정(double negation), 부정 전환(negation flipping), 수동태(passive voice) 등 통제된 재표현에 걸쳐 일관된 답변을 유지하는 LLM의 능력을 조사한다. 여러 최신 LLM을 평가한 결과 정확도-일관성 격차를 관찰했는데, GPT-5.4-mini는 기본 정확도 $98.9\%$를 달성하지만 패밀리 수준 일관성은 $60.3\%$에 그친 반면, 추론 최적화 o4-mini는 $96.9\%$ 일관성을 달성한다. 실험 결과, GPT-5.4-mini의 경우 역명제 재작성($72.4\%$) 및 이중 부정($84.6\%$)과 같이 논리적으로 비자명한 변환 주변에 실패가 집중되는 반면, 표면 수준의 재구문화는 견고하게 유지된다($94-100\%$). 추론 노력(reasoning effort)을 늘리면 GPT-5.4-mini의 일관성이 $85.4\%$로 향상되지만, 중첩 부정에서의 이득이 양화사(quantifier) 패밀리에서의 실패로 상쇄되어 GPT-5.4는 전반적으로 변하지 않는다. 이러한 결과는 LLM의 논리적 추론을 평가할 때 정확도만으로는 충분하지 않음을 보여준다.
EXACT 2026의 CoTu: 투명한 교육용 QA를 위한 신경-기호적 추론
CoTu at EXACT 2026: Neuro-Symbolic Reasoning for Transparent Educational QA
투명한 교육용 질의응답은 답이 정확할 뿐만 아니라 설명 가능해야 하며, 소형 모델로 이를 수행하면 가장 큰 독점 시스템의 추론 능력은 기대하기 어렵다. EXACT 2026 대회는 이 문제를 구체적으로 제시한다: 최대 80억(8B) 파라미터의 오픈 가중치(open-weight) 언어 모델을 자체 호스팅하여, 모든 답변에 자연어 설명을 제공해야 한다. 두 가지 과제를 함께 다룬다: 대학 규정에 대한 논리적 추론과 다단계 물리 문제 풀이. CoTu 팀이 두 과제를 해결하기 위해 개발한 시스템을 설명한다. 이는 4B 백본이 답을 직접 제시하는 대신 프로그램을 작성하는 신경-기호적 Program-of-Thought 파이프라인이다: 규정 질의의 경우 함의(entailment) 판정이 추론을 그라운딩(grounding)하는 Z3 인코딩을 출력하고, 물리 과제의 경우 수치 Python을 출력하며, 둘 다 공유 자기교정(self-correction) 루프와 통합 explained-JSON 출력으로 감싼다. 답변 유형 라우팅, 지식 증류(distillation) 기반 과제 미세조정(fine-tuning), 그리고 지연 시간을 고려한 서빙 스택—투기적 디코딩(speculative decoding)을 사용하는 SGLang—이 시스템을 쿼리당 60초 제한 내에 유지한다. 이 시스템은 자동 선발 라운드 모두에서 물리 과제에 완벽한 점수를 달성했고, 최종 라운드에서 자동 답변 평가와 전문가가 판단한 추론 깊이를 결합한 기술 점수로 모든 팀 중 최고인 13.44/15를 기록했다. 발표 점수를 동일 가중치로 포함하면 CoTu는 전체 3위를 차지했다. 답을 기호 솔버(symbolic solver)에 그라운딩하면 4B 규모에서도 정확하고 검증 가능한 추론을 얻을 수 있으며, 남은 어려움은 추론 자체보다 전제(premise) 선택에 있다.
LogiQA 2.0—An Improved Dataset for Logical Reasoning in Natural Language Understanding
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
정보 중개자로서의 AI 검색: 웹 트래픽에 대한 클릭스트림 증거
AI Search as an Information Intermediary: Clickstream Evidence on Web Traffic
AI 검색은 생성된 답변의 근거를 마련하기 위해 웹 정보를 검색한다. 우리는 ChatGPT Search 출시 기간 동안 이용 현황과 유입(referral)을 함께 관찰한 미국 데스크톱 클릭스트림 데이터를 사용하여 이 새로운 정보 중개자를 연구한다. 유입은 ChatGPT 세션의 5.4%에 동반되는 반면 Google 질의에서는 31.1%에 동반된다. 광고 기반 사이트는 Google보다 ChatGPT에서 더 적은 비중의 유입을 받는 반면, 참고 자료 및 기술 사이트는 더 큰 비중을 받는다. 기존 검색(Google, Bing, Yahoo)은 ChatGPT 채택 이후 감소하며, 채택이 계정 없는 사용자로의 ChatGPT Search 확대 이후에 이루어질 때 더 일찍 감소한다. 기존 사용자 중에서는 그 확대가 ChatGPT 이용을 늘리며, 기존 검색은 전반적으로 감지 가능한 변화가 없으나 이전 검색 활동이 적은 가구에서는 감소한다. 이러한 결과는 AI 검색이 자체 유입과 기존 검색의 변화를 통해 개방형 웹 트래픽을 재편할 수 있음을 시사한다.
DeepStress: 딥 검색 에이전트 스트레스 테스트
DeepStress: Stress-Testing Deep Search Agents
검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.