arXiv:2405.19109

PathReasoner: Modeling Reasoning Path with Equivalent Extension for Logical Question Answering

Fangzhi Xu, Qika Lin, Tianzhe Zhao, Jiawei Han, Jun Liu

제출 2024-05-29

원문 초록

Logical reasoning task has attracted great interest since it was proposed. Faced with such a task, current competitive models, even large language models (e.g., ChatGPT and PaLM 2), still perform badly. Previous promising LMs struggle in logical consistency modeling and logical structure perception. To this end, we model the logical reasoning task by transforming each logical sample into reasoning paths and propose an architecture \textbf{PathReasoner}. It addresses the task from the views of both data and model. To expand the diversity of the logical samples, we propose an atom extension strategy supported by equivalent logical formulas, to form new reasoning paths. From the model perspective, we design a stack of transformer-style blocks. In particular, we propose a path-attention module to joint model in-atom and cross-atom relations with the high-order diffusion strategy. Experiments show that PathReasoner achieves competitive performances on two logical reasoning benchmarks and great generalization abilities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20768v1cs.CL공통 태그 Question Answering, Diversity

다양성 지표는 다양성을 측정하는가? LLM 앙상블에서 다수결 투표 이득에 대한 역량 통제 감사

Are Diversity Metrics Measuring Diversity? A Capability-Controlled Audit of Majority-Vote Gain in LLM Ensembles

LLM에 대한 다수결 투표는 다양성으로부터 이득을 본다고 널리 가정되며, 다양성 측정치는 어떤 모델을 결합할지 선택하는 데 사용된다. 우리는 이러한 다섯 가지 측정치가 다양성을 추적하는지, 아니면 주로 역량을 재표현하는지를 묻고, 명시적 역량 통제 하에서 MMLU-Pro에서 30개 LLM의 31,900개 부분집합(TruthfulQA에서는 29개)에 걸쳐 최고 성능 멤버 대비 다수결 투표 이득의 예측변수로서 이를 감사한다. 세 가지 발견이 도출된다. 첫째, 잠재적 상보성(latent complementarity)은 어디에나 존재한다. 오라클 이득은 모든 부분집합에서 양수이지만, 단순 투표는 전체 표준 크기-3 부분집합의 9.98%에서만(홀드아웃 최고 선택 시 18.71%) 최강 멤버를 이기며, 크기 2–4를 통합한 비율은 1.27%로, 이는 부분적으로 결정론적 짝수 크기 투표 행동을 반영한다. 둘째, 공동 정확도 프록시(strict diversity)는 평균 정확도를 1에서 뺀 값과 거의 공선(collinear)이다(크기-3 Spearman rho = +0.991 / +0.988). 원(raw) 다양성–이득 연관은 역량과 강하게 얽혀 있으며, 한 가지 예외를 제외하고 통제 하에서 불안정하다. 셋째, 세 가지 선형 분할표(contingency-table) 통계량은 대수적으로 분리 불가능(non-separable)하다. 역량 통제 후 경험적으로 안정적인 잔여는, 더 많은 공유 오류가 더 낮은 이득에 대응하는 완만한 잔차 쌍별 공동 실패(co-failure) 연관이다. 이 방향은 견고하지만 그 크기는 구성에 따라 달라진다. strict diversity, disagreement, double-fault를 독립 예측변수로 취급하는 공동 원(raw)공간 선형 회귀는 구조적으로 계수(rank) 부족(rank-deficient)이다.

arXiv:2607.14735v1cs.CL공통 태그 Question Answering, Logical Reasoning

EXACT 2026의 CoTu: 투명한 교육용 QA를 위한 신경-기호적 추론

CoTu at EXACT 2026: Neuro-Symbolic Reasoning for Transparent Educational QA

투명한 교육용 질의응답은 답이 정확할 뿐만 아니라 설명 가능해야 하며, 소형 모델로 이를 수행하면 가장 큰 독점 시스템의 추론 능력은 기대하기 어렵다. EXACT 2026 대회는 이 문제를 구체적으로 제시한다: 최대 80억(8B) 파라미터의 오픈 가중치(open-weight) 언어 모델을 자체 호스팅하여, 모든 답변에 자연어 설명을 제공해야 한다. 두 가지 과제를 함께 다룬다: 대학 규정에 대한 논리적 추론과 다단계 물리 문제 풀이. CoTu 팀이 두 과제를 해결하기 위해 개발한 시스템을 설명한다. 이는 4B 백본이 답을 직접 제시하는 대신 프로그램을 작성하는 신경-기호적 Program-of-Thought 파이프라인이다: 규정 질의의 경우 함의(entailment) 판정이 추론을 그라운딩(grounding)하는 Z3 인코딩을 출력하고, 물리 과제의 경우 수치 Python을 출력하며, 둘 다 공유 자기교정(self-correction) 루프와 통합 explained-JSON 출력으로 감싼다. 답변 유형 라우팅, 지식 증류(distillation) 기반 과제 미세조정(fine-tuning), 그리고 지연 시간을 고려한 서빙 스택—투기적 디코딩(speculative decoding)을 사용하는 SGLang—이 시스템을 쿼리당 60초 제한 내에 유지한다. 이 시스템은 자동 선발 라운드 모두에서 물리 과제에 완벽한 점수를 달성했고, 최종 라운드에서 자동 답변 평가와 전문가가 판단한 추론 깊이를 결합한 기술 점수로 모든 팀 중 최고인 13.44/15를 기록했다. 발표 점수를 동일 가중치로 포함하면 CoTu는 전체 3위를 차지했다. 답을 기호 솔버(symbolic solver)에 그라운딩하면 4B 규모에서도 정확하고 검증 가능한 추론을 얻을 수 있으며, 남은 어려움은 추론 자체보다 전제(premise) 선택에 있다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.22305v2cs.AI공통 태그 Diversity

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.