PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20402v1cs.AI

SoftReason: 고차원 지각 데이터에 대한 완전 미분 가능한 신경-소프트-기호 연역적 추론 아키텍처

SoftReason: A Fully Differentiable Neuro-Soft-Symbolic Deductive Reasoning Architecture over High-Dimensional Perceptual Data

많은 추론 문제에서 전제는 이산 기호로 관찰되지 않으며, 고차원 입력으로부터 추론되어야 한다. 또한 술어 어휘, 인수 구조, 신뢰할 수 있는 증거는 지식 그래프(KG) 또는 규칙 정의에 의해 제공된다. 고전적인 신경-기호 파이프라인은 지각과 연역 사이에 이산적 인터페이스를 갖는다. 우리는 잠재 지각 사실과 지식 기반 술어에 대한 미분 가능한 연역적 추론을 위한 신경-소프트-기호 아키텍처를 제안한다. SoftReason은 후보 상수와 술어에 대한 국소 소프트 해석 텐서로 연역 상태를 표현함으로써 그래디언트 간극을 제거한다. 지각은 확률적 기본 사실을 제안하고, KG 트리플은 높은 신뢰도의 소프트 증거로 들어오며, 모든 쿼리 앵커, 술어 선택, 폐쇄(closure) 업데이트는 미분 가능하게 유지된다. 우리의 핵심 혁신은 즉시 결과 연산자(immediate-consequence operator)의 학습된 미분 가능 리프트(lift)이다. 이는 술어 정의 임베딩과 잠재 구성 채널을 사용하여 소프트 본문-술어 혼합을 형성하고, 가능한 모든 증인(witness)에 대해 집계하며, 쿼리 조건화된 헤드 사실을 제안하고, 단조 확률적 OR를 통해 해석을 업데이트한다. 우리는 이 프레임워크를 지식 인식 시각 질의응답(KVQA)에 구현하고, SoftReason이 하나의 학습 가능한 아키텍처에서 end-to-end 지각적 그라운딩, KG 증거 주입, 미분 가능한 연역적 폐쇄를 어떻게 지원하는지 보여준다.

arXiv:2607.13069v1cs.AI

개입적 그라운딩 감사: 술어 대체를 통한 LLM 사고의 연쇄(CoT) 블랙박스 전제 의존성 테스트

Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution

대규모 언어 모델(LLM)은 논리적으로 타당해 보이는 사고의 연쇄(CoT) 추론을 생성하지만, 그 추론이 실제로는 명시된 전제에 진정으로 의존하지 않을 수 있다. 본 논문은 개입적 그라운딩 감사(interventional grounding audits)를 도입한다. 이는 전제 의존성을 검증하는 블랙박스, 단계 수준의 테스트로, 단일 전제에 개입하여 대상 술어를 새로운 기호로 대체한 뒤 모델을 다시 실행하고, 각 추론 단계의 정규화된 결론(정규 술어 형태)이 변하는지 확인한다. 단계 수준의 전제 의존성이 알려져 있는, gold proof tree를 갖춘 합성 다중 홉(multi-hop) 연역 추론 벤치마크 ProntoQA에서 평가한다. GPT-4o에 50개의 ProntoQA 문제를 적용한 결과, 본 방법은 증명 트리 의존성 탐지에서 F1 = 0.806(술어 결정 의존성에서 F1 = 0.885; 재현율 = 100%)을 달성하여 자기 일관성(self-consistency) 기준선(F1 = 0.343; 95% bootstrap CI 비중첩)을 크게 능가한다. 또한 올바르게 풀린 문제의 66%에는 일관된 대체(consistent substitution) 하에서 직접적인 증명 트리 의존성에 민감하지 않은 정렬된(aligned) 단계가 적어도 하나 포함되어 있음을 확인한다. 이는 모두 개체 도입(entity-introduction) 전제와 관련되며, 이는 일관된 대체 평가기의 문서화된 사각지대이다. 이는 수동적 방법으로는 보이지 않는 "정답이지만 잘못된 추론(right answer, wrong reasoning)" 신호이다. 모든 감사 증명서, 원시 출력, 재현 스크립트는 공개 GitHub 저장소에서 제공되며, 형식적이고 파싱 가능한 벤치마크를 넘어서는 적용 범위 한계를 논의한다.

arXiv:2510.09340v2cs.AI

Deductive Logic in Language Models: Horizontal vs Vertical Reasoning

소규모 트랜스포머 언어 모델을 처음부터 학습시켜 수평적 추론(자기회귀적 중간 단계 생성)과 수직적 추론(레이어 간 암묵적 추론)의 메커니즘을 분석한 결과, 사고의 연쇄(Chain-of-Thought) 지도학습이 전자에서는 단계별 규칙 기반 추론 회로를 형성하고 후자에서는 커리큘럼 학습 효과를 유발함을 밝혔다. 귀납 헤드(induction head) 메커니즘과 절단 유사역행렬(truncated pseudoinverse) 기법을 통해 모델이 통계적 편향이 아닌 실제 논리 규칙을 학습함을 해석 가능성(mechanistic interpretability) 관점에서 저수준으로 규명했다.

arXiv:2606.20227v1cs.AI

QMFOL: 정량화 가능한 단항 일계 논리 테스트 케이스 생성을 통한 대규모 언어 모델 추론 벤치마킹

QMFOL: Benchmarking Large Language Model Reasoning via Quantifiable Monadic First-Order Logic Test Case Generation

대규모 언어 모델(LLM)은 추론, 특히 고위험 의사결정에 중요한 연역적 추론에서 상당한 진전을 이루었습니다. 모델이 개선됨에 따라 평가 벤치마크도 이에 발맞춰 발전해야 합니다. 그러나 기존 벤치마크는 논리적 복잡성에 대한 세밀한 제어가 부족하고, 의미적 다양성과 논리적 일관성 사이의 균형을 맞추는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해 우리는 정량화 및 제어 가능한 복잡성을 가진 단항 일계 논리 추론 작업을 생성하는 자동화된 프레임워크인 QMFOL을 제안합니다. 이는 논리곱과 논리합 패턴을 사용하여 형식적 논리 구조를 구성하며, 추론 깊이, 너비, 레이블 유형, 방해 요소에 대한 정밀한 제어를 가능하게 합니다. 이러한 구조는 LLM을 통해 자연어로 변환되며, 외부 증명기(prover)를 사용한 왕복 검증을 통해 논리적 일관성이 보장됩니다. 우리의 프레임워크를 기반으로 다양한 논리 및 의미 차원에 걸쳐 960개의 구성과 2880개의 인스턴스로 구성된 벤치마크인 QMFOLBench를 구축했습니다. 6개의 대규모 추론 모델(LRM)과 2개의 LLM에 대한 평가 결과, 논리적 복잡성이 증가함에 따라 성능이 저하되고 계산 오버헤드가 증가하는 것으로 나타났습니다. 모델은 거짓(False)이나 미지(Unknown) 레이블이 있는 작업보다 참(True) 레이블이 있는 작업에서 더 나은 성능을 보였으며, 의미적 변화에 민감성을 보였습니다. 전반적으로 QMFOL은 제어 가능한 복잡성을 갖는 연역적 추론 벤치마크를 구축하기 위한 확장 가능하고 신뢰할 수 있는 접근 방식을 제공하며, 현대 언어 모델의 추론 능력을 더 정밀하게 평가할 수 있게 합니다.