Does Entity Abstraction Help Generative Transformers Reason?
원문 초록
We study the utility of incorporating entity type abstractions into pre-trained Transformers and test these methods on four NLP tasks requiring different forms of logical reasoning: (1) compositional language understanding with text-based relational reasoning (CLUTRR), (2) abductive reasoning (ProofWriter), (3) multi-hop question answering (HotpotQA), and (4) conversational question answering (CoQA). We propose and empirically explore three ways to add such abstraction: (i) as additional input embeddings, (ii) as a separate sequence to encode, and (iii) as an auxiliary prediction task for the model. Overall, our analysis demonstrates that models with abstract entity knowledge performs better than without it. The best abstraction aware models achieved an overall accuracy of 88.8% and 91.8% compared to the baseline model achieving 62.9% and 89.8% on CLUTRR and ProofWriter respectively. However, for HotpotQA and CoQA, we find that F1 scores improve by only 0.5% on average. Our results suggest that the benefit of explicit abstraction is significant in formally defined logical reasoning settings requiring many reasoning hops, but point to the notion that it is less beneficial for NLP tasks having less formal logical structure.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델의 논리적 일관성을 위한 통제된 재표현 테스트
Controlled Reformulation Testing for Logical Consistency in Large Language Models
대규모 언어 모델(LLM)은 논리적으로 동등한 질문의 표면 형태가 바뀔 때 자주 스스로 모순된다. 우리는 논리적 불변성(logical invariance)을 평가하기 위해 Controlled Reformulation Testing(CRTBench)용 350개 질문 패밀리(총 1,750개 질문) 벤치마크를 제시한다. 이 벤치마크에서 우리는 역명제 재작성(contrapositive rewriting), 이중 부정(double negation), 부정 전환(negation flipping), 수동태(passive voice) 등 통제된 재표현에 걸쳐 일관된 답변을 유지하는 LLM의 능력을 조사한다. 여러 최신 LLM을 평가한 결과 정확도-일관성 격차를 관찰했는데, GPT-5.4-mini는 기본 정확도 $98.9\%$를 달성하지만 패밀리 수준 일관성은 $60.3\%$에 그친 반면, 추론 최적화 o4-mini는 $96.9\%$ 일관성을 달성한다. 실험 결과, GPT-5.4-mini의 경우 역명제 재작성($72.4\%$) 및 이중 부정($84.6\%$)과 같이 논리적으로 비자명한 변환 주변에 실패가 집중되는 반면, 표면 수준의 재구문화는 견고하게 유지된다($94-100\%$). 추론 노력(reasoning effort)을 늘리면 GPT-5.4-mini의 일관성이 $85.4\%$로 향상되지만, 중첩 부정에서의 이득이 양화사(quantifier) 패밀리에서의 실패로 상쇄되어 GPT-5.4는 전반적으로 변하지 않는다. 이러한 결과는 LLM의 논리적 추론을 평가할 때 정확도만으로는 충분하지 않음을 보여준다.
EXACT 2026의 CoTu: 투명한 교육용 QA를 위한 신경-기호적 추론
CoTu at EXACT 2026: Neuro-Symbolic Reasoning for Transparent Educational QA
투명한 교육용 질의응답은 답이 정확할 뿐만 아니라 설명 가능해야 하며, 소형 모델로 이를 수행하면 가장 큰 독점 시스템의 추론 능력은 기대하기 어렵다. EXACT 2026 대회는 이 문제를 구체적으로 제시한다: 최대 80억(8B) 파라미터의 오픈 가중치(open-weight) 언어 모델을 자체 호스팅하여, 모든 답변에 자연어 설명을 제공해야 한다. 두 가지 과제를 함께 다룬다: 대학 규정에 대한 논리적 추론과 다단계 물리 문제 풀이. CoTu 팀이 두 과제를 해결하기 위해 개발한 시스템을 설명한다. 이는 4B 백본이 답을 직접 제시하는 대신 프로그램을 작성하는 신경-기호적 Program-of-Thought 파이프라인이다: 규정 질의의 경우 함의(entailment) 판정이 추론을 그라운딩(grounding)하는 Z3 인코딩을 출력하고, 물리 과제의 경우 수치 Python을 출력하며, 둘 다 공유 자기교정(self-correction) 루프와 통합 explained-JSON 출력으로 감싼다. 답변 유형 라우팅, 지식 증류(distillation) 기반 과제 미세조정(fine-tuning), 그리고 지연 시간을 고려한 서빙 스택—투기적 디코딩(speculative decoding)을 사용하는 SGLang—이 시스템을 쿼리당 60초 제한 내에 유지한다. 이 시스템은 자동 선발 라운드 모두에서 물리 과제에 완벽한 점수를 달성했고, 최종 라운드에서 자동 답변 평가와 전문가가 판단한 추론 깊이를 결합한 기술 점수로 모든 팀 중 최고인 13.44/15를 기록했다. 발표 점수를 동일 가중치로 포함하면 CoTu는 전체 3위를 차지했다. 답을 기호 솔버(symbolic solver)에 그라운딩하면 4B 규모에서도 정확하고 검증 가능한 추론을 얻을 수 있으며, 남은 어려움은 추론 자체보다 전제(premise) 선택에 있다.
LogiQA 2.0—An Improved Dataset for Logical Reasoning in Natural Language Understanding
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
DeepStress: 딥 검색 에이전트 스트레스 테스트
DeepStress: Stress-Testing Deep Search Agents
활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대
When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles
활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.